A Apple Machine Learning Research apresentou um estudo sobre o quão consistentemente grandes modelos de linguagem atualizam suas crenças probabilísticas quando novas evidências surgem. Os autores descrevem essa questão por meio de desvios em relação à atualização bayesiana.
O trabalho propõe uma abordagem que encara os modelos de linguagem como regras de processamento de informação e mede a diferença entre suas atualizações e a atualização bayesiana. Na descrição do estudo, medicina, ciência e direito são citadas como áreas onde, com base nos dados disponíveis, muitas vezes não há uma única resposta correta.
O valor prático da abordagem está ligado à verificação do comportamento dos modelos em tarefas com incerteza. No entanto o conjunto fornecido contém apenas um resumo editorial: não há dados sobre os modelos testados, experimentos, resultados numéricos ou comparações entre sistemas.
comentário editorial
Por que importa
Conseqência provável: maior atenção à verificação do processo de atualização de crenças dos modelos em tarefas com incerteza, e não apenas às respostas finais. O sinal mais próximo observado seria a publicação de uma descrição completa dos experimentos com modelos específicos e avaliações numéricas. A incerteza substancial permanece devido à ausência de tais dados na fonte fornecida.