Apple Machine Learning Research präsentierte eine Studie darüber, wie konsequent große Sprachmodelle ihre probabilistischen Überzeugungen aktualisieren, wenn neue Belege erscheinen. Die Autoren beschreiben diese Frage durch die Abweichung von einer bayesschen Aktualisierung.
In der Arbeit wird ein Ansatz vorgeschlagen, der Sprachmodelle als Regeln der Informationsverarbeitung betrachtet und die Lücke zwischen ihren Aktualisierungen und der bayesschen Aktualisierung misst. In der Beschreibung der Studie werden Medizin, Wissenschaft und Recht als Bereiche genannt, in denen es oft keine einzige richtige Antwort auf Basis der verfügbaren Daten gibt.
Praktische Bedeutung des Ansatzes liegt darin, das Verhalten der Modelle in Aufgaben mit Unsicherheit zu überprüfen. Aber der bereitgestellte Pack enthält nur ein publizistisches Resümee: Es gibt keine Daten zu getesteten Modellen, Experimenten, numerischen Ergebnissen oder einem Vergleich der Systeme.
redaktioneller Kommentar
Warum es wichtig ist
Voraussichtliche Folge — eine stärkere Fokussierung auf die Überprüfung des Prozesses der Einstellungsaktualisierung von Modellen in Aufgaben mit Unsicherheit, und nicht nur auf deren Endergebnisse. Das nächstliegende beobachtbare Signal ist die Veröffentlichung einer vollständigen Beschreibung der Experimente mit konkreten Modellen und numerischen Bewertungen. Eine wesentliche Unsicherheit bleibt aufgrund des Fehlens solcher Daten in der bereitgestellten Quelle.