MLCommons publicou um material dizendo que as avaliações de segurança de modelos básicos não podem ser automaticamente transferidas para sistemas prontos. A organização descreve o problema de comparabilidade dessas avaliações e informa sobre o trabalho para melhorá-lo.
Segundo o resumo da publicação, o fine-tuning pode alterar o perfil de segurança de forma imprevisível, e muitos testes existentes não são sensíveis o suficiente para notar tais mudanças.
Para equipes que implementam sistemas completos, isso significa que é necessário testar a configuração implantada, e não apenas basear-se nos indicadores da modelo original. A fonte não divulga no material apresentado uma metodologia específica da MLCommons nem prazos para sua implementação.
comentário editorial
Por que importa
Possível consequência: as equipes passarão a avaliar com mais frequência implantações específicas após o fine-tuning, em vez de considerar o indicador básico suficiente. O próximo sinal observável será a publicação pela MLCommons descrevendo a metodologia de testes comparáveis. Uma grande incerteza está relacionada à ausência de detalhes sobre métodos e resultados no pacote original.