A Google Cloud AI Research, em colaboração com a Washington University in St. Louis e a UNC Chapel Hill, apresentou o EnvHarness — uma camada com licença Apache-2.0, que adapta um benchmark estático ao processo de treinamento de um sistema de software. Ela se conecta ao ambiente congelado através das operações padrão reset() e step(), sem alterar as próprias tarefas e os procedimentos de verificação criados por pessoas.
Segundo a MarkTechPost, o componente EnvRigger cria automaticamente tais envoltórias com base em falhas identificadas nos resultados das execuções do sistema. Em cinco benchmarks, as habilidades obtidas trouxeram um aumento de até 9,0 pontos percentuais em tarefas adiadas, e exigiram 9,8% menos passos de execução.
A importância do desenvolvimento está na tentativa de tornar o ambiente de treinamento adaptativo sem reescrever as tarefas e verificações originais. No entanto, está disponível apenas o synopse da MarkTechPost, e não a publicação primária ou o texto completo da pesquisa, portanto os resultados declarados não podem ser considerados independentes.
comentário editorial
Por que importa
Provável consequência — aumento do interesse em benchmarks que mudam com base nos resultados do treinamento, e não permanecem estáticos. O próximo sinal observado será a publicação de estudo completo, código ou verificação independente dos cinco benchmarks. Uma incerteza substancial está relacionada à ausência de fonte primária e detalhes do experimento.