MLCommonsは、基本モデルの安全性評価を自動的に完成品システムへ転用できないとする資料を公表した。組織はそのような評価の比較可能性の問題を説明し、改善に向けた取り組みを報告している。

要約によれば、追加学習はモデルの安全性プロファイルを予測不能に変える可能性があり、既存のテストの感度はそのような変化を捉えるには十分でない。

展開対象となる全体システムを導入するチームにとっては、元のモデルの指標だけを参照するのではなく、展開済みの設定を検証する必要がある。ソースはこの資料のパッケージ内でMLCommonsの具体的な手法や導入時期を開示していない。