Исследовательское подразделение Apple Machine Learning Research опубликовало работу, посвященную модели Length Value Model (LenVM). В документе утверждается, что токен является фундаментальной единицей вычислений в современных авторегрессионных моделях, а длина генерации напрямую влияет на стоимость вывода и качество рассуждений.

Авторы отмечают, что существующие подходы часто лишены детализированного моделирования длины, работая преимущественно на уровне последовательностей в целом. Новая разработка LenVM представляет собой фреймворк токенового уровня, который моделирует оставшуюся длину генерации на каждом отдельном шаге декодирования.

Предложенный метод направлен на устранение пробелов в текущих подходах за счет более гранулярного контроля над процессом генерации. Это позволяет системе динамически оценивать необходимый объем вывода по мере формирования ответа, а не только при начале процесса.