Разработка передовых моделей искусственного интеллекта перешла на архитектуру смеси экспертов (MoE), что кардинально меняет ограничения для масштабного обучения. Согласно сообщению NVIDIA, этот сдвиг привел к установлению мирового рекорда скорости предобучения таких моделей на новой системе GB300 NVL72.

По мере снижения вычислительных затрат на один токен ключевым фактором эффективности становится скорость обмена данными. Теперь именно коммуникационные возможности определяют, насколько успешно модель может масштабироваться across тысячи графических процессоров.

Достижение демонстрирует, как новое аппаратное обеспечение решает возникающие瓶颈 в развитии ИИ, позволяя обрабатывать огромные объемы информации быстрее за счет оптимизации связей между вычислительными узлами.