MLCommons a annoncé la publication des versions AILuminate Safety 1.2.1 et Jailbreak 1.1. Ces tests sont disponibles dans le nouveau service Candela pour des tests comparatifs, qui comprend également un évaluateur utilisateur et une évaluation par percentiles.
Selon la description de MLCommons, les mises à jour visent à résister au benchmaxxing, au cherrypicking et à d'autres méthodes de manipulation des résultats. Les évaluations Safety sont déjà disponibles, et les résultats Jailbreak devraient apparaître ultérieurement.
La pertinence pratique dépend de la mesure dans laquelle la méthodologie, les ensembles d’attaques et les résultats seront publiés avec suffisamment de détails. Pour l’instant, la source offre une description succincte du produit et ne contient pas de vérification indépendante ni de chiffres.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — l’apparition de évaluations de sécurité des modèles plus comparables, si les mécanismes de protection contre la manipulation déclarés sont confirmés dans la pratique. Le prochain signal observable sera la publication des résultats de Jailbreak et des détails de la méthodologie. Une incertitude significative persiste en raison d’une description unique et brève sans vérification indépendante.