Os pesquisadores desenvolveram uma metodologia de quatro fases para verificar se os modelos de linguagem utilizam sinais de sua própria confiança ao escolher entre responder ou se abster. Na primeira fase, a confiança dos modelos foi medida sem a possibilidade de recusar a resposta.
A pesquisa foi publicada na Nature Machine Intelligence sob o título «Causal evidence that language models use confidence to drive behaviour». Na descrição do trabalho, a metacognição é considerada como uma avaliação da qualidade das próprias ações cognitivas, associada ao comportamento adaptativo em diferentes espécies.
A fonte disponível contém apenas um resumo editorial e não reporta os resultados das demais fases, os nomes dos modelos investigados ou métricas quantitativas. Portanto, até o momento, confirma-se apenas a concepção do teste causal, mas não o seu resultado.
comentário editorial
Por que importa
Se os resultados completos confirmarem a ligação causal, o próximo sinal observável será uma mudança sustentada na escolha entre resposta e abstenção após a intervenção no sinal de confiança. Incerteza substancial permanece: foi fornecido apenas um sinopse de metadados sem resultados, amostragem ou descrição dos modelos.