No experimento, a simples mudança da embalagem do ciclo de trabalho levou o mesmo sistema de escrita de código, com o mesmo modelo, de aproximadamente a posição 30 para o top cinco no Terminal-Bench, segundo MarkTechPost. O modelo permaneceu inalterado.
Com base nisso, a publicação sugere observar não apenas a escolha do modelo, mas também como o ciclo de execução das tarefas é estruturado. Isso é importante para equipes que comparam fornecedores com base apenas na qualidade da configuração básica do modelo.
Os materiais disponíveis não revelam o arranjo da embalagem modificada, o número de testes ou os critérios de comparação. Portanto, o resultado deve ser visto como um exemplo descrito em uma única fonte independente, e não como uma prova de vantagem universal dessa abordagem.
comentário editorial
Por que importa
Provável consequência — as equipes passarão a comparar com mais cuidado não apenas modelos, mas também as formas de organizar o ciclo de trabalho. O próximo sinal observável será o surgimento de comparações reprodutíveis em outras tarefas e com uma descrição detalhada da metodologia. Uma incerteza significativa está associada ao fato de que currently available apenas o resumo de uma fonte.