Der Google Cloud AI Blog veröffentlichte Material über Methoden zur Auditierung von Beurteilenden auf Basis von LLM. Im Synopsis wird behauptet, dass solche Systeme nicht vollständig objektiv sind und in der Lage sein können, Vorurteile zu reproduzieren, die bei menschlichen Beurteilungen bekannt sind.
Es werden zwei Beispiele genannt. Erstens – Beurteiler neigen dazu, längere und selbstbewusst formulierte Antworten zu bevorzugen, auch wenn die darin enthaltenen Fakten falsch sind. Zweitens – die Abhängigkeit der Entscheidung von der Reihenfolge der Optionen: Durch das Vertauschen der Optionen soll sich nach dem Synopsis das Urteil in mehr als 75% Fällen ändern.
Der praktische Sinn des Materials besteht darin, nicht nur die Endbewertung zu prüfen, sondern auch die Stabilität des Beurteilers gegenüber der Form der Antwort und der Anordnung der Optionen. Details zu den vorgeschlagenen Methoden und die Bestätigung der genannten Kennzahlen fehlen im verfügbaren Quellenpaket.
redaktioneller Kommentar
Warum es wichtig ist
Wenn die beschriebenen Effekte reproduzierbar sind, müssen Entwickler von Bewertungssystemen die Stabilität der Urteile gegenüber der Länge der Antwort und der Umordnung der Optionen überprüfen. Das am nächsten liegende beobachtbare Signal wäre die Veröffentlichung einer vollständigen Methodenbeschreibung und unabhängige Wiederholungstests. Eine wesentliche Unsicherheit ergibt sich daraus, dass lediglich der Synopse eines einzigen Quellenmaterials vorliegt.