Компания NVIDIA анонсировала технологию ModelExpress, созданную для решения проблемы высокой стоимости передачи данных в инфраструктуре искусственного интеллекта. По мере того как контрольные точки моделей растут до сотен гигабайт или даже одного терабайта, расходы на каждое перемещаемое байт данных стремительно увеличиваются.
これらのモデル重みを計算クラスター内で移動させる操作が極めて頻繁に行われていることが状況をさらに悪化させています。データ量がこのような規模に達すると、従来の転送方法がボトルネックとなり、アーティファクトの配布に対する新たなアプローチが必要となります。
ModelExpress は、極端な情報量のもとで従来のネットワークプロトコルを使用する際に避けられない遅延を最小限に抑え、これらの重いファイルを光の速度で配信できるツールとして位置づけられています。
編集部コメント
なぜ重要か
こうしたソリューションの導入は、将来のスーパーコンピュータクラスターにとって必要な標準となるでしょう。次に観測される兆候は、ModelExpress を使用した場合と従来手法を使用した場合のモデル読み込み速度を比較するベンチマークの出現です。主な不確実性は、この技術が多様なネットワーク環境との互換性を有するかどうかという点にあります。