Property Finderは、視覚システムの評価における96,8%のメタグラフが、以前のモデルから継承されていたことを発見した。AWS Machine Learning Blogの概要によれば、このアプローチは代替モデルの実際の精度を隠していた。

同社は独立したベンチマークデータを作成し、Amazon Bedrock上のオプションを比較して、画像品質の11の特性を評価するために、より正確でコスト効果の高いモデルを選択した。概要にはコストが86%削減されたとある。

このケースの意味は、モデル選択よりも検証自体の品質に焦点を移すことにある。もしベンチマークラベルが現行システムの決定を再現する場合、代替モデルの評価は非客観的になり得る。なお、提供パッケージには試験のサンプルサイズ、期間、絶対的な精度指標は開示されていない。