Le développement de modèles d'intelligence artificielle de pointe est passé à l'architecture de mélange d'experts (MoE), ce qui modifie radicalement les contraintes pour l'apprentissage à grande échelle. Selon le communiqué de NVIDIA, ce changement a conduit à l'établissement d'un record mondial de vitesse de préentraînement pour de tels modèles sur le nouveau système GB300 NVL72.

À mesure que les coûts de calcul par token diminuent, la vitesse d'échange de données devient le facteur clé de l'efficacité. Désormais, ce sont les capacités de communication qui déterminent dans quelle mesure un modèle peut être mis à l'échelle sur des milliers de processeurs graphiques.

Cette réalisation démontre comment le nouveau matériel résout les goulots d'étranglement émergents dans le développement de l'IA, permettant de traiter d'énormes volumes d'informations plus rapidement grâce à l'optimisation des liaisons entre les nœuds de calcul.