Nous Research adicionou ao Hermes Desktop a configuração de modelo local com um clique. Segundo o material da MarkTechPost, o aplicativo analisa o hardware do usuário, faz a correspondência do catálogo com a GPU dele, seleciona a assemblagem mais qualificada e adequada, a baixa e a configura o llama.cpp.
Na descrição, também são indicados limites rígidos de 4 bits e uma janela de contexto mínima de 64 mil tokens. Isso significa que a automação se aplica não apenas à seleção do modelo, mas também à triagem prévia das opções com base nas restrições de hardware.
O significado prático da mudança é menos ações manuais para iniciar uma modelo local. No entanto, o pacote disponível contém apenas um synopsys de metadados de uma publicação independente, portanto não se sabe quais modelos e GPUs são suportados nem como o aplicativo se comporta em diferentes configurações.
comentário editorial
Por que importa
Provável consequência — redução do número de passos manuais para usuários que executam modelos localmente. O próximo sinal observado será a publicação de detalhes sobre GPUs suportadas, modelos e resultados da seleção automática. Há grande incerteza, pois atualmente só existe o resumo de uma publicação sem confirmação primária.