MLCommonsはAILuminate Safety 1.2.1と Jailbreak 1.1のバージョンを発表しました。これらのテストは新サービス Candela で比較テストに利用可能で、同サービスはユーザー評価者とパーセンタイル評価を提供するとしています。

MLCommonsの説明によれば、更新は benchmaxxing、cherrypicking、その他の結果操作手段に対する耐性を想定しています。Safetyの評価はすでに利用可能で、Jailbreakの結果は後日公開される予定です。

実用的な重要性は、方法論、攻撃セット、および結果がどれだけ詳しく公開されるかに依存します。現時点では、情報源は製品の短い説明のみを示し、独立した検証や数値的結論を含んでいません。