MLCommons informou o lançamento das versões AILuminate Safety 1.2.1 e Jailbreak 1.1. Esses testes estão disponíveis no novo serviço Candela para teste comparativo, que também afirma possuir avaliador de usuário e avaliação por percentis.
Segundo a descrição da MLCommons, as atualizações visam resistência a benchmaxxing, cherry-picking e outras formas de manipulação dos resultados. As avaliações de Safety já estão disponíveis, e os resultados de Jailbreak devem vir posteriormente.
A relevância prática depende de o quão detalhadamente a metodologia, os conjuntos de ataques e os resultados serão publicados. Até o momento, a fonte oferece apenas uma descrição breve do produto e não apresenta confirmação independente nem números específicos.
comentário editorial
Por que importa
Provável consequência — surgir avaliações de segurança de modelos mais comparáveis, se os mecanismos de proteção contra manipulação declarados forem confirmados na prática. O próximo sinal observado será a publicação dos resultados do Jailbreak e detalhes da metodologia. A incerteza substancial permanece devido à única descrição breve sem verificação independente.