NVIDIA beschreibt in dem Beitrag »How XPUs Meet a World-Class AI Factory« einen Ansatz für die Infrastruktur von KI-Fabriken, die kontinuierlich arbeiten. Im Mittelpunkt steht das Produktionsergebnis: die Geschwindigkeit der Token-Generierung, die Anzahl der Token pro Watt, die Kosten pro Token, die Auslastung und die Betriebszeit ohne Ausfälle.
Laut der Darstellung von NVIDIA muss die Infrastruktur für eine solche Wirtschaftsweise als vollwertige Fabrik geplant und gebaut werden und nicht als Sammlung einzelner Beschleuniger.
Dies ist wichtig, weil der Vergleich einzelner Chips nicht die volle Effizienz des Systems aufzeigt. Das verfügbare Material liegt jedoch nur als Metadaten und kurze Zusammenfassung des Beitrags vor, sodass Details zur Architektur, eine Liste der Beteiligten und praktische Ergebnisse unbekannt bleiben.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge: Anbieter von KI-Infrastruktur werden Systeme häufiger anhand des Outputs und der Ergebniskosten vergleichen und nicht nur anhand der Spezifikationen einzelner Beschleuniger. Das nächste beobachtbare Signal werden veröffentlichte Messungen zur Auslastung, zu den Token-Kosten und zur Betriebszeit ohne Ausfälle sein. Eine erhebliche Unsicherheit besteht darin, dass in der verfügbaren Quelle keine technischen Details und keine unabhängige Überprüfung enthalten sind.