
NVIDIA は資料「How XPUs Meet a World-Class AI Factory」において、継続的に稼働する AI ファクトリー向けインフラストラクチャへのアプローチを記述した。焦点は成果物の出力に置かれており、具体的にはトークン生成速度、ワットあたりのトークン数、トークン単価、稼働率、および無故障動作時間が挙げられる。
NVIDIA の説明によれば、こうした経済性を実現するには、インフラを個々のアクセラレーターの集合体としてではなく、本格的な工場として設計・構築する必要がある。
これは、個々のチップの比較ではシステム全体の完全な実効性が示されないため重要である。ただし、入手可能な資料はメタデータと出版物の要約であり、アーキテクチャの詳細、関係者のリスト、実践的な結果は不明のままとなっている。
編集部コメント
なぜ重要か
想定される帰結:AI インフラ供給業者は、個々のアクセラレーターの仕様だけでなく、成果物の产出量とコストに基づいてシステムを比較する頻度が高まるだろう。次の観測可能な信号は、稼働状況、トークンコスト、および無故障動作時間の公表された測定値となるであろう。利用可能な情報源に技術的詳細と独立した検証が存在しないことに起因する重大な不確実性が残っている。