MLCommons informó del lanzamiento de las versiones AILuminate Safety 1.2.1 y Jailbreak 1.1. Estas pruebas están disponibles en el nuevo servicio Candela para pruebas comparativas, que también afirma contar con un anotador de usuario y evaluación por percentiles.
Según MLCommons, las actualizaciones están diseñadas para resistencia a benchmaxxing, cherry-picking y otras manipulaciones de resultados. Las puntuaciones de Safety ya están disponibles, y los resultados Jailbreak deben aparecer más tarde.
La relevancia práctica depende de qué tan detalladamente se publique la metodología, los conjuntos de ataques y los resultados. Por ahora, la fuente ofrece solo una descripción breve del producto y no hay verificación independiente ni resultados numéricos.
comentario editorial
Por qué importa
Una consecuencia probable es que surjan evaluaciones de seguridad de modelos más comparables, si los mecanismos declarados para proteger contra manipulaciones se confirman en la práctica. Lo siguiente señal observable será la publicación de los resultados de Jailbreak y detalles de la metodología. Persiste una incertidumbre sustancial debido a la descripción breve y a la ausencia de verificación independiente.