A Salesforce Engineering publicou um material sobre como avaliar sistemas de IA em produção: pelos resultados das ações em sistemas operacionais, e não apenas pela qualidade do diálogo.

No cenário apresentado, o sistema informa com confiança ao cliente que o reembolso foi processado. A conversa parece bem-sucedida, mas a verificação da conta mostra que ela permanece aberta e a operação de reembolso não foi acionada.

O enredo destaca um risco prático: uma resposta convincente por si só não prova que a ação exigida realmente ocorreu. A fonte não fornece dados sobre a frequência desses casos, metodologia de medição ou confirmação independente.