Google DeepMind は 先進的なAIモデルに対する二重盲検評価を試みています。パイロットプロジェクトにはAI安全保障研究所が参加しており、検証には Gemini Flash Lite が使用されています。
Confidential Spaceを介した暗号保護により、Google がテストの問題を閲覧できず、評価者がモデルの重みへアクセスすることもできません。手続きの詳しい内容とその結果は、提供された資料では開示されていません。
このプロジェクトの意義は、モデル評価への介入リスクを低減する試みです。手法が機能する場合、より保護されたベンチマークの指針となり得ますが、現時点でその成果を裏付けるデータはありません。
編集部コメント
なぜ重要か
推定される影響は、AIベンチマークの独立性とセキュリティ要件の強化です。次に観測される指標は、手順の公開詳細とパイロットの結果です。実質的な不確実性は、現時点で唯一の情報源とそのメタデータのみが利用可能で、全文と検証済みの結論が欠如している点にあります。