NVIDIAはNVIDIA DGX Sparkプラットフォーム上のMoEモデルの推論を高速化する三つの方法に関する資料を公開しました。概要には、トークンの生成を高速化するには、まず出力性能を抑制する制約を特定する必要があると記されています。

情報源は、具体的にどの方法が検討されているか、そしてそれらが速度や効率をどの程度変えるかを明らかにしていません。したがって、本公表は推奨方針を確認している段階であり、その実践的な効果を評価することはできません。