Google DeepMind informou sobre o piloto de avaliações de IA de dupla cegueira — abordagem que, no título da publicação, é descrita como a primeira do mundo.
De acordo com a descrição disponível, o objetivo da iniciativa é aumentar a confiança em tais testes de comparação. Detalhes sobre o design dos testes, participantes e resultados não são revelados no material apresentado.
O significado prático do projeto dependerá de quão independentes as avaliações se mostrarem e se o processo proposto tornará a comparação de modelos verificável por participantes externos. Por ora, isso permanece uma questão para a divulgação de dados futuros.
comentário editorial
Por que importa
Вероятное последствие — рост внимания к проверяемым методам сравнения закрытых моделей, если Google DeepMind представит детали e resultados do piloto. O próximo sinal observável será a publicação da metodologia ou dos resultados dos testes. A incerteza substancial está relacionada ao fato de que, no momento, está disponível apenas uma meta-descrição sem o texto completo e confirmação independente.