Google Cloud AI Blog publicó material sobre formas de auditar evaluadores basados en LLM. En el resumen, se afirma que dichos sistemas no son completamente objetivos y pueden reproducir sesgos, familiarizados con la evaluación humana.
En la publicación se mencionan dos ejemplos. El primero: la tendencia de los evaluadores a preferir respuestas más largas y formuladas con mayor seguridad, incluso si los hechos contenidos en ellas son incorrectos. El segundo: la dependencia de la decisión del orden de las opciones: al permutarlas, el veredicto cambia, según el resumen, en más de 75% casos.
El sentido práctico del material es verificar no solo la evaluación final, sino también la robustez del propio evaluador ante la forma de la respuesta y la disposición de las opciones. No hay en el paquete de fuentes disponibles detalles de los métodos propuestos ni confirmaciones.
comentario editorial
Por qué importa
Si se reproducen los efectos descritos, a los desarrolladores de sistemas de evaluación les será necesario verificar la estabilidad de los veredictos ante la longitud de la respuesta y el orden de las opciones. La señal más cercana observable es la publicación de una descripción completa de los métodos y resultados independientes de pruebas repetidas. Una gran incertidumbre se debe a que solo se dispone de un resumen de una fuente.