Stanford大学とUC Berkeleyの研究者はTokenGateを発表した。大規模言語モデルに対して、追加の再構成なしで適用可能なトークン除去モジュールとされる。MarkTechPostによると、長い文脈の処理段階を最初のトークンが生成されるまでの時間を短縮することを目的としている。

公開された説明には、この段階の高速化が1,4–11,3倍、ピークメモリの削減が1,5–3,4倍とされ、また精度の喪失がないと報告されている。

実用的な意味として、長文の文書や問い合わせに対して遅延とメモリ消費を抑えつつ処理できる可能性がある。ただし提供されたパッケージは独立した情報源のメタデータの概要のみを含むにとどまり、実験の詳細、適用範囲、比較条件は初公開論文で検証が必要である。