Die Entwicklung fortschrittlicher Modelle künstlicher Intelligenz ist zur Mixture-of-Experts-Architektur (MoE) übergegangen, was die Grenzen für das großskalige Training grundlegend verändert. Laut einer Mitteilung von NVIDIA hat diese Verschiebung zur Aufstellung eines Weltrekords bei der Geschwindigkeit des Pre-Trainings solcher Modelle auf dem neuen System GB300 NVL72 geführt.
Da die Rechenkosten pro Token sinken, wird die Geschwindigkeit des Datenaustauschs zum entscheidenden Effizienzfaktor. Heute bestimmen primär die Kommunikationsfähigkeiten, wie erfolgreich ein Modell über Tausende von Grafikprozessoren skaliert werden kann.
Diese Leistung demonstriert, wie neue Hardware die entstehenden Engpässe in der KI-Entwicklung adressiert und es ermöglicht, enorme Datenmengen schneller zu verarbeiten, indem die Verbindungen zwischen den Rechenknoten optimiert werden.
redaktioneller Kommentar
Warum es wichtig ist
Es wird erwartet, dass sich die nächsten Generationen von KI-Systemen auf die Bandbreite der Interconnects statt auf die reine Rechenleistung konzentrieren werden. Das nächste beobachtbare Signal wird das Erscheinen neuer Standards für die Netzwerkkommunikation in KI-Clustern sein. Unsicherheit besteht weiterhin hinsichtlich der wirtschaftlichen Effizienz solcher Lösungen für kleinere Marktakteure.