Property Finder descobriu que 96,8% etiquetas na avaliação do sistema de visão computacional foram herdadas de um modelo anteriormente utilizado. Segundo o resumo do AWS Machine Learning Blog, essa abordagem ocultava a precisão real dela.
A empresa formou uma amostra de referência independente, comparou opções no Amazon Bedrock e escolheu o modelo mais preciso e econômico para avaliar 11 características de qualidade das imagens. O resumo afirma que os custos diminuíram em 86%.
O valor deste caso está na mudança de foco da avaliação da qualidade da verificação. Se as etiquetas de referência repetem as decisões do sistema atual, a avaliação da alternativa pode ser não objetiva. No entanto, a fonte não revela o tamanho da amostra, os prazos do experimento e os valores absolutos de precisão.
comentário editorial
Por que importa
Se as conclusões da Property Finder forem reproduzíveis, dados de referência independentes serão uma condição importante para comparar modelos e controlar custos. O próximo sinal observável serão os detalhes publicados da amostra, da metodologia e de métricas absolutas. A incerteza substancial está relacionada ao fato de que no pacote disponível há apenas o resumo de uma única fonte.