MLCommons stellte Candela vor – einen Service zum Benchmarking von KI-Risiken für Entwickler und Systemanbieter. Er nutzt die abgestimmten Benchmarking-Standards AILuminate, um Modelle in ihrer ursprünglichen Form oder Systeme in bereitgestellter Form zu prüfen.

Teams können so oft praktische Tests durchführen, wie erforderlich, und anschließend die offizielle Bewertungsfassung veröffentlichen. Die endgültige Punktzahl wird auf einem separaten Satz von Abfragen veröffentlicht, der nicht für die praktische Prüfung verwendet wurde.

Die Bedeutung des Ansatzes liegt darin, dass er internes Testing und das veröffentlichte Ergebnis trennt, was potenziell den Vergleich von Systemen erleichtert. Allerdings enthält das vorgestellte Material keine Details zur Zusammensetzung der Tests, zu den Bewertungskriterien, zur Verfügbarkeit des Dienstes und zu ersten Ergebnissen.