Um estudo controlado mostrou que a transição entre camadas para o coding-agent, incluindo Claude Code, OpenCode e mini-SWE-agent, quase não altera a taxa de sucesso em relação à repetição da mesma configuração.
Além disso, o custo de uma tarefa, em alguns casos, pode triplicar. Segundo o synopsis publicado, o principal fator são as instruções do sistema, repetidas em cada etapa da tarefa.
Para os desenvolvedores, isso significa que comparar essas ferramentas deve levar em conta não apenas a taxa de tarefas bem-sucedidas, mas também os custos do contexto repetitivo. O texto completo da pesquisa, sua amostra e detalhes da metodologia no pacote disponível não são apresentados.
comentário editorial
Por que importa
Conclusão provável — os desenvolvedores precisarão avaliar as camadas pelo custo total do contexto repetitivo, e não apenas pelos resultados das tarefas. O próximo sinal observado será a publicação do estudo completo com metodologia, amostra e detalhamento dos custos. A incerteza significativa está relacionada ao fato de que atualmente está disponível apenas o synopsis/metadados de uma única fonte.