Nous Research は Hermes Desktop にローカルモデルをワンクリックで設定する機能を追加しました。MarkTechPost の資料によれば、アプリはユーザーのハードウェアを分析し、グラフィックスプロセサに合致するモデルのカタログと照合し、最も適切で品質の高いビルドを選択してダウンロードし、llama.cpp を設定します。

説明には4 ビットの硬制限と最小文脈窓が 64 千トークンであることも示されています。これは、アプリがモデルのダウンロードだけでなく、ハードウェア制約に基づく事前選別まで自動化することを意味します。

この変更の実務的な意味は、ローカルモデルの起動時に必要な手動作業を減らすことです。ただし、提供されているパッケージには独立系の一つの記事のメタデータの要約のみが含まれており、どのモデルとGPUがサポートされているか、さまざまな構成でアプリがどのように動作するかは不明です。