В эксперименте LangChain изменение только оболочки рабочего цикла перевело одну и ту же систему для написания кода примерно с 30-го места в первую пятёрку Terminal-Bench, сообщает MarkTechPost. Модель при этом оставалась неизменной.
На этом основании публикация предлагает смотреть не только на выбор модели, но и на то, как выстроен цикл выполнения задач. Это важно для команд, сравнивающих поставщиков по одному лишь качеству базовой модели.
Доступные материалы не раскрывают устройство изменённой оболочки, число испытаний или критерии сравнения. Поэтому результат следует воспринимать как описанный в одном независимом источнике пример, а не как доказательство универсального преимущества такого подхода.
комментарий редакции
Что это значит
Вероятное последствие — команды будут внимательнее сравнивать не только модели, но и способы организации их рабочего цикла. Следующим наблюдаемым сигналом станет появление воспроизводимых сравнений на других задачах и с подробным описанием методики. Существенная неопределённость связана с тем, что сейчас доступен лишь синопсис одного источника.