Salesforce Engineering a publié un article sur la manière d'évaluer les systèmes d'IA en production: en se basant sur les résultats des actions dans les systèmes opérationnels, et non uniquement sur la qualité du dialogue.
Dans le scénario présenté, le système indique avec assurance au client que le remboursement a été traité. La conversation semble réussie, mais la vérification du compte révèle qu'il reste ouvert et que l'outil de remboursement n'a jamais été invoqué.
Ce récit souligne un risque pratique: une réponse convaincante ne prouve pas en soi que l'action requise a réellement eu lieu. La source ne fournit aucune donnée sur la fréquence de tels cas, sur la méthodologie de mesure ou sur une confirmation indépendante.
commentaire éditorial
Pourquoi c’est important
Si l'écart décrit entre la réponse du système et l'état du compte se répète, le prochain signal observable sera un passage de l'évaluation des dialogues à la vérification des enregistrements des opérations effectuées. Une incertitude substantielle demeure : la source ne contient qu'un synopsis et ne révèle ni l'ampleur, ni la méthodologie, ni une confirmation indépendante.