MIT Technology Review AI сообщил, что выполнение задачи по разработке с помощью системы ИИ включает планирование, генерацию кода, запуск тестов и повторные исправления.
По данным синопсиса публикации, одна такая задача расходует в 10–50 раз больше токенов, чем обычный запрос в чате.
Это смещает фокус оценки: важен не только объём обработки, но и то, какой завершённый результат система помогает получить. В доступном материале нет данных о качестве кода, стоимости или конкретных инструментах.
комментарий редакции
Что это значит
Вероятное следствие — оценка систем ИИ будет постепенно смещаться от подсчёта токенов к измерению завершённых результатов и числа итераций. Ближайший наблюдаемый сигнал — появление сравнений по готовому коду, тестам и затраченным ресурсам. Существенная неопределённость сохраняется: источник не раскрывает методику расчёта, набор задач и показатели качества.