MLCommons hat Versionen von AILuminate Safety 1.2.1 und Jailbreak 1.1 angekündigt. Diese Tests sind im neuen Candela-Service für Vergleichstests verfügbar, der auch einen benutzerbewertenden Evaluator und eine prozentilbasierte Bewertung anbietet.
Laut Beschreibung von MLCommons sind die Updates darauf ausgelegt, Robustheit gegenüber Benchmaxxing, Cherry-Picking und anderen Methoden zur Manipulation von Ergebnissen zu gewährleisten. Die Safety-Bewertungen sind bereits verfügbar, während die Jailbreak-Ergebnisse später erscheinen sollen.
Die praktische Bedeutung hängt davon ab, wie detailliert Methodik, Angriffs-Sets und Ergebnisse veröffentlicht werden. Derzeit liefert die Quelle nur eine knappe Beschreibung des Produkts und keine unabhängige Bestätigung oder numerische Endergebnisse.
redaktioneller Kommentar
Warum es wichtig ist
Voraussichtliche Folge ist die Einführung vergleichbarerer Sicherheitsbewertungen von Modellen, sofern die behaupteten Mechanismen zum Schutz vor Manipulation in der Praxis bestätigt werden. Nächste sichtbare Signale werden die Veröffentlichung der Jailbreak-Ergebnisse und Details der Methodik sein. Wesentliche Unsicherheit bleibt aufgrund der einzigen kurzen Beschreibung ohne unabhängige Prüfung.