
MLCommonsは、開発者とシステム提供者向けのAIリスクベンチマーキングサービスCandelaを発表した。サービスは、AILuminateの合意済みベンチマークを使用し、モデルを未修正の状態で検証する場合と、展開済みのシステムを検証する場合の両方に対応する。
チームは、必要とするだけ実践的なテストを実施した後、公式の評価を公開できる。最終スコアは、実践的検証には使用されていない「別の」クエリセットで公開される。
このアプローチの重要性は、内部テストと公開結果を分離することで、システム間の比較を容易にする可能性がある点だ。ただし、提供された資料には、テスト構成、評価基準、サービスの利用可能性、最初の結果などの詳細は含まれていない。
編集部コメント
なぜ重要か
実務的にこのアプローチが実現すれば、次に観測されるサインはサービスの利用可能性と最初のバージョン管理された評価の公開である。資料は方法論の品質、モデルの適用範囲、結果が市場で受け入れられるかを判断する材料を提供していない。