MLCommons a présenté Candela — un service de benchmarking des risques IA destiné aux développeurs et aux fournisseurs de systèmes. Il utilise des benchmarks AILuminate approuvés pour tester les modèles dans leur état d’origine ou les systèmes dans leur version déployée.

Les équipes pourront effectuer des tests pratiques autant de fois que nécessaire, puis publier une version officielle de l’évaluation. Le score final sera publié sur un ensemble de requêtes distinct de celui utilisé pour les tests pratiques.

L’importance de l’approche réside dans le fait qu’elle sépare les tests internes du résultat publié, ce qui facilite potentiellement la comparaison des systèmes. Cependant, le matériel présenté ne contient pas de détails sur la composition des tests, les critères d’évaluation, la disponibilité du service et les premiers résultats.