Google Cloud AI Blogは、LLMを基盤とする評価者の監査方法についての資料を公開しました。要約では、これらのシステムは完全には客観的ではなく、人間の評価に馴染みのある偏見を再現する可能性があると述べられています。

本文には二つの例が挙げられています。第一は、評価者が長く自信に満ちた回答を好む傾向があり、そこに含まれる事実が誤っていてもそうなることがあるということです。第二は、選択肢の順序によって判断が影響を受けるというもので、順序を入れ替えると verdict が75% 件以上変わると要約には記載されています。

実務的な意味は、最終的な評価だけでなく、回答の形状や選択肢の配置に対する評価者の頑健性を検証することです。提案された方法の詳細や、示された指標の裏付けは、利用可能なソースパッケージに欠けています。