AWS Machine Learning Blog によると、TorchServe はもはやサポートされておらず、チームは GPU 推論スタック全体を自ら管理する必要がある。同ブログでは、フレームワーク、GPU ドライバー、モデルサービング層があらかじめ統合された、維持可能かつ事前テスト済みのコンテナとして Ray Serve Deep Learning Container が紹介されている。

また、この資料では画像と言語を処理するマルチモーダルモデルを、GPU を搭載した単一ノード上の Amazon EKS で当該コンテナを用いて展開する方法を示している。情報源は、構成の詳細、ベンチマーク結果、または移行条件については開示していない。

チームにとっての実践的な意義は、環境全体を独自に構築するのではなく、あらかじめ用意されたコンポーネントの組み合わせに依存できる可能性にある。これは AWS の記述に基づく推論であり、導入結果が情報源によって確認された事実ではない。