Amazon SageMaker Inference erhielt ein prefix‑bewusstes Routing. Anfragen mit demselben Anfang der Eingabe werden auf denselben Instanz gerichtet, um den KV‑Cache warm zu halten.
In Benchmarks zu Llama 3.1 70B betrug die Reduktion der P50‑Zeit bis zum ersten Token maximal 77%. Die Trefferquote im KV‑Cache stieg von ungefähr 25% auf mehr als 80%.
Praktischer Sinn — potenziell schnellere Reaktionen für Dienste, bei denen Anfragen regelmäßig denselben Präfix verwenden. Der Bericht nennt nicht, wie diese Werte sich in anderen Szenarien und bei anderen Modellen verhalten.
redaktioneller Kommentar
Warum es wichtig ist
Vermutliche Folge ist ein größeres Interesse an kontextrepetitionsbasierter Routing in praktischen Sprachmodell‑Diensten. Als nächstes erkennbarer Hinweis werden Ergebnisse außerhalb von Llama 3.1 70B und Daten zur Funktionsleistung unter echter Last erwartet. Eine wesentliche Unsicherheit besteht darin, dass im Paket nur eine Quelle vorliegt und dessen Metadaten veröffentlicht wurden.