MLCommons apresentou Candela — serviço de benchmarking de riscos de IA para desenvolvedores e fornecedores de sistemas. Ele usa benchmarks acordados AILuminate para verificar modelos na forma original ou sistemas implantados.
As equipes poderão realizar testes práticos quantas vezes forem necessários, e então publicar a versão oficial da avaliação. A pontuação final é apresentada a partir de um conjunto separado de consultas, não utilizado para o teste prático.
O significado da abordagem é que ela separa o teste interno do resultado publicado, o que pode facilitar a comparação entre sistemas. No entanto, o material apresentado não contém detalhes sobre a composição dos testes, critérios de avaliação, disponibilidade do serviço e resultados iniciais.
comentário editorial
Por que importa
Se a abordagem descrita for implementada na prática, o próximo sinal observado será a disponibilidade do serviço e as primeiras avaliações versionadas publicadas. O material não permite julgar a qualidade da metodologia, o alcance dos modelos ou a aceitação do resultado pelo mercado.