Salesforce Engineering опубликовала материал о том, как оценивать производственные ИИ-системы: по результатам действий в рабочих системах, а не только по качеству диалога.

В приведённом сценарии система уверенно сообщает клиенту, что возврат обработан. Разговор выглядит успешным, но проверка счёта показывает: он остаётся открытым, а операция возврата не была вызвана.

Сюжет подчёркивает практический риск: убедительный ответ сам по себе не доказывает, что требуемое действие действительно произошло. Источник не приводит данных о частоте таких случаев, методике измерений или независимом подтверждении.