O Google Cloud AI Blog publicou material sobre maneiras de auditar avaliadores baseados em LLM. No resumo, afirma-se que tais sistemas não são totalmente objetivos e podem reproduzir preconceitos familiares à avaliação humana.
O artigo cita dois exemplos. O primeiro é a tendência dos avaliadores em favorecer respostas mais longas e confiantes, mesmo quando os fatos nelas contidos são incorretos. O segundo é a dependência da decisão da ordem das opções: ao rearranjar as opções, o veredito, segundo o resumo, mudou em mais de 75% ocasiões.
O objetivo prático do material é verificar não apenas a avaliação final, mas também a robustez do próprio avaliador em relação à forma da resposta e à disposição das opções. Detalhes dos métodos propostos e a validação dos indicadores apresentados não estão disponíveis no acervo de fontes disponível.
comentário editorial
Por que importa
Se os efeitos descritos forem reproduzidos, os desenvolvedores de sistemas de avaliação precisarão verificar a robustez dos vereditos em relação ao tamanho da resposta e à permutação de opções. O sinal mais próximo observado é a publicação da descrição completa dos métodos e de resultados independentes de testes repetidos. Uma incerteza substancial está relacionada ao fato de que há apenas um synopse de uma fonte.