Nous Research добавила в Hermes Desktop настройку локальной модели одним нажатием. Согласно материалу MarkTechPost, приложение анализирует оборудование пользователя, сопоставляет каталог с его графическим процессором, выбирает наиболее качественную подходящую сборку, скачивает ее и настраивает llama.cpp.
В описании также указаны жесткое ограничение в 4 бита и минимальное контекстное окно на 64 тысячи токенов. Это означает, что автоматизация распространяется не только на загрузку модели, но и на предварительный отбор вариантов по аппаратным ограничениям.
Практический смысл изменения — меньше ручных действий при запуске локальной модели. Однако доступный пакет содержит лишь синопсис метаданных одной независимой публикации, поэтому неизвестно, какие модели и видеокарты поддерживаются и как приложение ведет себя на разных конфигурациях.
комментарий редакции
Что это значит
Вероятное последствие — снижение числа ручных шагов для пользователей, запускающих модели локально. Следующим наблюдаемым сигналом станет публикация подробностей о поддерживаемых видеокартах, моделях и результатах работы автоматического подбора. Существенная неопределенность связана с тем, что сейчас доступен только синопсис одной публикации без первичного подтверждения.