Nous Research hat in Hermes Desktop eine Einstellung für lokale Modelle mit einem Fingertipp hinzugefügt. Laut MarkTechPost analysiert die Anwendung die Hardware des Nutzers, ordnet den Modellkatalog seiner Grafikkarte zu, wählt die am besten geeignete passende Build aus, lädt sie herunter und richtet llama.cpp ein.
In der Beschreibung werden zudem eine harte Begrenzung auf 4 und ein Kontextfenster von mindestens 64 Tausend Tokens angegeben. Das bedeutet, dass die Automatisierung nicht nur das Herunterladen der Modelle betrifft, sondern auch eine Vorauswahl der Optionen nach Hardwareeinschränkungen.
Der praktische Sinn der Änderung besteht darin, weniger manuelle Schritte beim Start lokaler Modelle zu erledigen. Allerdings enthält das verfügbare Paket nur eine Zusammenfassung der Metadaten eines unabhängigen Artikels, daher ist unklar, welche Modelle und Grafikkarten unterstützt werden und wie die Anwendung auf verschiedenen Konfigurationen funktioniert.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge – Verringerung der Anzahl manueller Schritte für Benutzer, die Modelle lokal starten. Als nächstes beobachtbares Signal wird die Veröffentlichung von Details zu unterstützten Grafikkarten, Modellen und Ergebnissen der automatischen Auswahl geben. Wesentliche Ungewissheit besteht darin, dass derzeit nur eine Zusammenfassung einer Veröffentlichung ohne primäre Bestätigung verfügbar ist.