Un estudio controlado mostró que el cambio entre envolturas para coding-agent, incluyendo Claude Code, OpenCode y mini-SWE-agent, casi no altera la proporción de ejecuciones exitosas en comparación con volver a ejecutar la misma configuración.
Además, el costo de una tarea se triplica en algunos casos. Según el resumen publicado, el factor principal son las instrucciones del sistema, que se vuelven a enviar en cada paso de la tarea.
Para los desarrolladores, esto significa que no solo se debe comparar estas herramientas por el porcentaje de tareas exitosas, sino también por los costos del contexto repetitivo. El texto completo del estudio, su muestra y los detalles de la metodología no están presentes en el paquete disponible.
comentario editorial
Por qué importa
Una consecuencia probable es que los desarrolladores tendrán que evaluar las envolturas por el costo total del contexto repetitivo, y no solo por los resultados de las tareas. La próxima señal observable será la publicación del estudio completo con metodología, muestra y desglose de gastos. Una gran incertidumbre está relacionada con el hecho de que actualmente solo está disponible un resumen de metadatos de una fuente.