Google Cloud AI Blog опубликовал материал о способах аудита оценщиков на основе LLM. В синопсисе утверждается, что такие системы не являются полностью объективными и способны воспроизводить предвзятость, знакомую по человеческой оценке.

В публикации названы два примера. Первый — склонность оценщиков предпочитать более длинные и уверенно сформулированные ответы, даже если факты в них неверны. Второй — зависимость решения от порядка вариантов: при их перестановке вердикт, согласно синопсису, менялся более чем в 75% случаев.

Практический смысл материала — проверять не только итоговую оценку, но и устойчивость самого оценщика к форме ответа и расположению вариантов. Подробности предложенных методов и подтверждение приведённых показателей в доступном пакете источников отсутствуют.