Les chercheurs de Stanford et de l’UC Berkeley ont présenté TokenGate — un module de filtrage de tokens pour les grands modèles de language, qui peut être ajouté sans remaniement du système. Selon MarkTechPost, il est destiné à accélérer l’étape de traitement du long contexte jusqu’à l’apparition du premier token de réponse.

Dans la description publiée, l’accélération de cette étape est revendiquée à 1,4–11,3 et la réduction de la mémoire maximale à 1,5–3,4. La source indique également l’absence de perte de précision dans les résultats présentés.

La signification pratique du développement est la possibilité de traiter des documents et requêtes longs avec moins de latence et de consommation de mémoire. Toutefois, le paquet disponible ne contient que le synopsis des métadonnées d’une seule source indépendante, ainsi les détails des expériences, les limites d’application et les conditions de comparaison nécessitent une vérification dans la publication primaire.