Une étude contrôlée a montré que le passage entre les enveloppes pour coding-agent, y compris Claude Code, OpenCode et mini-SWE-agent, n'a presque pas changé la part de tâches réussies par rapport au redémarrage de la même configuration.
Cependant, le coût d'une tâche peut tripler dans certains cas. Selon le synopsis publié, le principal facteur devient les instructions système, transmises à chaque étape du travail.
Pour les développeurs, cela signifie qu'il faut comparer ces outils non seulement au pourcentage de tâches réussies, mais aussi aux coûts du contexte récurrent. Le texte complet de l'étude, son échantillon et les détails de la méthodologie ne sont pas présentés dans le package disponible.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — les développeurs devront évaluer les enveloppes par le coût total du contexte récurrent, et pas seulement par les résultats des tâches. Le prochain signal observable sera la publication de l'étude complète avec la méthodologie, l'échantillon et la ventilation des coûts. Une incertitude substantielle réside dans le fait qu'actuellement seul le résumé des métadonnées d'une source est disponible.