Apple Machine Learning Research a présenté une étude sur la stabilité des mises à jour des croyances probabilistes des grandes langues modèles lorsque de nouveaux éléments de preuve apparaissent. Les auteurs décrivent cette question par l’écart par rapport à une mise à jour bayésienne.
Dans le travail, est proposé une approche qui considère les modèles linguistiques comme des règles de traitement de l’information et mesure l’écart entre leurs mises à jour et la mise à jour bayésienne. L’étude mentionne les domaines de la médecine, des sciences et du droit, où, selon les données observées, une seule réponse correcte n’est souvent pas disponible.
L’application pratique de l’approche est liée à la vérification du comportement des modèles dans des tâches comportant de l’incertitude. Or le paquet fourni ne contient que le résumé éditorial: il n’y a pas de données sur les modèles vérifiés, les expériences, les résultats chiffrés ou les comparaisons de systèmes.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — renforcer l’attention à la vérification du processus de mise à jour des croyances des modèles dans des tâches avec incertitude, et non seulement à leurs réponses finales. Le signal le plus proche observé — publication d’une description complète des expériences avec des modèles spécifiques et des évaluations chiffrées. Une incertitude substantielle demeure en raison de l’absence de telles données dans la source fournie.