Apple Machine Learning Research presentó un estudio sobre qué tan consistentemente las grandes modelos de lenguaje actualizan sus creencias probabilísticas ante la aparición de nuevas evidencias. Los autores describen la cuestión a través de la desviación respecto a la actualización bayesiana.
En el trabajo se propone un enfoque que considera a los modelos de lenguaje como reglas de procesamiento de información y mide la brecha entre sus actualizaciones y la actualización bayesiana. En la descripción del estudio, la medicina, la ciencia y el derecho se mencionan como áreas en las que a menudo no basta una única respuesta correcta con los datos disponibles.
El valor práctico del enfoque está relacionado con verificar el comportamiento de los modelos en tareas con incertidumbre. Pero el paquete proporcionado contiene solo un resumen editorial: no incluye datos sobre modelos evaluados, experimentos, resultados numéricos o comparaciones entre sistemas.
comentario editorial
Por qué importa
Consecuencia probable: un mayor énfasis en verificar el proceso de actualización de las creencias de los modelos en tareas con incertidumbre, y no solo sus respuestas finales. La señal más cercana observable es la publicación de una descripción completa de los experimentos con modelos específicos y valores numéricos. Sigue existiendo una considerable incertidumbre debido a la ausencia de esos datos en la fuente proporcionada.