Microsoft Research a décrit la tâche d'évaluer Microsoft Copilot à l'échelle des grandes organisations. Pour de tels contrôles, des données de test reflétant la complexité des entreprises réelles sont nécessaires.

L'utilisation de données d'entreprise réelles pour cet objectif est impossible: elles contiennent des informations sensibles. Dans le titre de l'étude, les données synthétiques s'opposent aux données réelles comme une voie vers une évaluation plus informative de la confiance dans le fonctionnement de Copilot.

Dans la description disponible, il n'y a pas d'informations sur la méthodologie spécifique de création des ensembles synthétiques, les résultats des tests ou une comparaison avec d'autres systèmes. La source est présentée comme un seul matériel de Microsoft Research, et sa base de preuves est limitée aux méta-données et à un bref synopsis.