Salesforce Engineering hat einen Beitrag darüber veröffentlicht, wie man Produktions-KI-Systeme bewertet: anhand der Ergebnisse von Aktionen in ArbeitsSystemen, nicht nur anhand der Qualität des Dialogs.
Im beschriebenen Szenario meldet das System dem Kunden eine bearbeitete Rückgabe. Der Dialog wirkt erfolgreich, doch der Kontostand zeigt, dass die Rückgabe offen bleibt und die Operation nicht ausgelöst wurde.
Die Geschichte betont das praktische Risiko: Eine überzeugende Antwort beweist für sich genommen nicht, dass die verlangte Aktion tatsächlich erfolgt ist. Die Quelle liefert keine Daten zur Häufigkeit solcher Fälle, zur Messmethode oder zu einer unabhängigen Bestätigung.
redaktioneller Kommentar
Warum es wichtig ist
Wenn die beschriebene Kluft zwischen der Systemantwort und dem Kontostand erneut auftritt, wird das nächste beobachtbare Signal der Übergang von der Bewertung der Dialoge zur Prüfung der Aufzeichnungen über die durchgeführten Operationen sein. Wesentliche Ungewissheit bleibt bestehen: Die Quelle enthält nur eine Synopsis und gibt weder das Ausmaß, die Methodik noch eine unabhängige Bestätigung preis.