Property Finder descubrió que 96,8% etiquetas en la evaluación del sistema de visión por computadora fueron heredadas de un modelo previamente utilizado. Según lo descrito en el AWS Machine Learning Blog, ese enfoque ocultaba su precisión real.
La empresa formó una muestra de referencia independiente, comparó las variantes en Amazon Bedrock y eligió un modelo más preciso y rentable para evaluar 11 características de calidad de las imágenes. En el resumen se afirma que los costos se redujeron en 86%.
El valor de este caso es el desplazamiento de la atención de la selección de la modelo hacia la calidad de la verificación en sí. Si las etiquetas de referencia repiten las decisiones del sistema en uso, la evaluación de la alternativa puede ser poco objetiva. Además, la fuente no revela en el paquete proporcionado el tamaño de la muestra, los plazos del experimento y los valores absolutos de precisión.
comentario editorial
Por qué importa
Si las conclusiones de Property Finder son reproducibles, los datos de referencia independientes se convertirán en una condición importante para comparar modelos y controlar costos. La siguiente señal observable serán los detalles publicados de la muestra, la metodología y las métricas absolutas. Una gran incertidumbre está relacionada con que en el paquete disponible solo hay un resumen de una fuente.