MLCommons a publié un article expliquant que les évaluations de sécurité des modèles de base ne peuvent pas être automatiquement transférées sur des systèmes prêts. L'organisation décrit le problème de la comparabilité de ces évaluations et indique qu’elle travaille à son amélioration.
Selon le synopsis de la publication, l’entraînement supplémentaire peut modifier de manière imprévisible le profil de sécurité du modèle, et de nombreux tests existants ne sont pas suffisamment sensibles pour remarquer de tels changements.
Pour les équipes qui déploient des systèmes entiers, cela signifie qu’il faut vérifier la configuration déployée, et non se fonder uniquement sur les indicateurs du modèle de base. La source ne révèle pas dans le paquet fourni une méthodologie spécifique de MLCommons ni ses délais de mise en œuvre.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — les équipes évalueront plus fréquemment les déploiements concrets après un entraînement supplémentaire, et ne considéreront pas le indicateur de base comme suffisant. Le prochain signal observable sera la publication par MLCommons d'une description de la méthodologie de tests comparables. L'incertitude majeure est liée à l'absence, dans le paquet initial, de détails sur les méthodes et les résultats.