最先端の人工知能モデルの開発はエキスパート混合（MoE）アーキテクチャへ移行しており、大規模学習における制約を根本的に変化させている。NVIDIA の発表によると、この変化により新しい GB300 NVL72 システム上で此类のモデルのプリトレーニング速度において世界記録が樹立された。

トークンあたりの計算コストが低下するにつれ、効率性の決定的要因はデータ交換の速度となっている。現在、モデルが数千個の GPU にわたってどれだけ成功裡にスケールできるかは、通信能力によって決定づけられる。

この成果は、新しいハードウェアが AI 発展における浮上するボトルネックをいかに解決するかを示しており、計算ノード間の接続を最適化することで膨大な量の情報をより迅速に処理することを可能にしている。