Salesforce Engineering は、生産環境の AI システムをどのように評価すべきかについて、対話の質だけでなく、実稼働システムにおける行動の結果に基づいて評価すべきとする資料を公開しました。

提示されたシナリオでは、システムは顧客に対し返金が処理されたと自信を持って伝えます。会話は成功したように見えますが、アカウントを確認すると、口座は依然として未解決のままであり、返金ツールが呼び出されていなかったことが示されました。

この事例は、説得力のある回答それ自体が、必要なアクションが実際に発生したことを証明するものではないという実践的なリスクを強調しています。出典には、こうした事例の頻度、測定手法、または独立した確認に関するデータは記載されていません。