Контролируемое исследование показало, что переход между оболочками для coding-agent, включая Claude Code, OpenCode и mini-SWE-agent, почти не меняет долю успешных выполнений по сравнению с повторным запуском той же конфигурации.
При этом стоимость одной задачи в отдельных случаях утраивается. Согласно опубликованному синопсису, главным фактором становятся системные инструкции, которые повторно передаются на каждом шаге работы.
Для разработчиков это означает, что сравнивать такие инструменты нужно не только по проценту успешных задач, но и по расходам на повторяющийся контекст. Полный текст исследования, его выборка и детали методики в доступном пакете не представлены.
комментарий редакции
Что это значит
Вероятное следствие — разработчикам придётся оценивать оболочки по совокупной стоимости повторяющегося контекста, а не только по результатам задач. Следующим наблюдаемым сигналом станет публикация полного исследования с методикой, выборкой и разбивкой расходов. Существенная неопределённость связана с тем, что сейчас доступен лишь синопсис метаданных одного источника.
Дополнительные оценки
Ollama Cloud
GLM 5.2
Если выводы исследования подтвердятся, рынок оболочек для coding-agent столкнётся с пересмотром ценностного предложения: вместо конкуренции по pass rate производителям придётся доказывать экономию на повторяющемся контексте. Наблюдаемый следующий сигнал — публикация полного текста с методикой, выборкой и разбивкой расходов по задачам. Существенная неопределённость обусловлена тем, что доступен лишь синопсис одного источника без данных о размере выборки, критериях успеха и условиях утроения стоимости.
В чём оценки сходятся- Выбор оболочки действительно может влиять на экономику задачи сильнее, чем на качество — это логичное следствие повторной отправки системного промпта.
- Оценивать оболочки нужно по совокупной стоимости повторяющегося контекста, а не только по проценту успешных задач.
- Без полного текста исследования методику, масштаб и разбивку расходов надёжно оценить нельзя.
- Утверждение о том, что смена оболочки «почти не меняет» результат, может оказаться артефактом узкой выборки задач — на других типах заданий разница может быть значимой.
- Утроение стоимости названо для отдельных случаев, но без медианы и распределения нельзя судить, насколько это типичный сценарий.
- Сравнение разных оболочек корректно только при одинаковых моделях и настройках — без подтверждения этого условия выводы могут быть преждевременными.
Ollama Cloud
Kimi K2.6
Если выводы подтвердятся, рынок coding-agent перейдёт от гонки за функциональными оболочками к оптимизации стоимости повторяющегося контекста. Следующим сигналом станет публикация полного исследования с методикой и разбивкой расходов. Существенная неопределённость: доступен лишь синопсис одного источника, а различия в системных промптах могут проявляться на задачах, не вошедших в выборку.
В чём оценки сходятся- Согласен, что сравнение оболочек должно включать совокупную стоимость, а не только pass rate.
- Согласен, что повторная отправка системного промпта на каждом шаге — очевидный и масштабируемый драйвер расходов.
- Согласен, что без полного текста исследования оценка методики и обобщаемости выводов невозможна.
- Оболочки могут различаться на сложных или нестандартных задачах, не представленных в исследовании; усреднённый pass rate маскирует хвостовые эффекты.
- Системные промпты — это не только расход, но и потенциальный источник управляемости и безопасности; их оптимизация может снизить предсказуемость поведения агента.
- Отсутствие различий между конкретными оболочками не означает отсутствия различий между архитектурами агентов вообще; сравнение могло зафиксировать сходство в узком классе решений.