Property Finder a découvert que 96,8% étiquettes dans l’évaluation du système de vision par ordinateur avaient été héritées d’un modèle utilisé auparavant. Selon le synopsis AWS Machine Learning Blog, cette approche masquait son exactitude réelle.
L’entreprise a constitué un échantillon de référence indépendant, a comparé les options sur Amazon Bedrock et a choisi un modèle plus précis et plus économique pour évaluer 11 caractéristiques de la qualité des images. Le synopsis indique que les coûts ont été réduits de 86%.
La valeur de ce cas réside dans le décalage de l’attention du choix du modèle vers la qualité même de la vérification. Si les étiquettes de référence répètent les décisions du système en vigueur, l’évaluation de l’alternative peut être subjective. De plus, la source ne divulgue pas dans le paquet transmis la taille de l’échantillon, les délais de l’expérience et les indicateurs de précision absolus.
commentaire éditorial
Pourquoi c’est important
Si les conclusions de Property Finder sont reproductibles, des données de référence indépendantes seront une condition importante pour comparer les modèles et contrôler les coûts. Le signal suivant à observer sera la publication des détails de l’échantillon, de la méthodologie et des métriques absolues. L’incertitude substantielle réside dans le fait que le paquet disponible ne contient qu’un seul résumé d’une source.