Property Finder entdeckte, dass 96,8% Markierungen in der Bewertung des Systems für Computer Vision von dem zuvor verwendeten Modell übernommen wurden. Laut AWS Machine Learning Blog verbergte dieser Ansatz die tatsächliche Genauigkeit.
Das Unternehmen hat eine unabhängige Referenzstichprobe erstellt, Varianten auf Amazon Bedrock verglichen und das genaueste und kostengünstigste Modell zur Bewertung 11 Eigenschaften der Bildqualität ausgewählt. Im Synopsis wird angegeben, dass die Kosten um 86% gesenkt wurden.
Der Kern dieses Falls liegt darin, die Aufmerksamkeit von der Modellauswahl auf die Qualität der Validierung zu lenken. Wenn Referenzmarken dieselben Entscheidungen wie das bestehende System widerspiegeln, kann die Bewertung alternativer Modelle objektiv sein. Gleichzeitig gibt der Quelle nicht im gelieferten Paket Details zu Stichprobengröße, Experimentzeitraum und absoluten Genauigkeitswerten preis.
redaktioneller Kommentar
Warum es wichtig ist
Wenn die Ergebnisse reproduzierbar sind, werden unabhängige Referenzdaten eine wichtige Bedingung für den Vergleich von Modellen und die Kostenkontrolle darstellen. Als nächstes beobachtete Signale werden veröffentlichte Details zu Stichprobe, Methodik und absoluten Metriken erwartet. Eine erhebliche Unsicherheit besteht darin, dass im verfügbaren Paket nur eine SYNOPSE eines einzelnen Quelltexts enthalten ist.