Der AWS Machine Learning Blog berichtet, dass TorchServe nicht mehr unterstützt wird; daher müssen Teams den gesamten GPU-Inferenz-Stack eigenständig betreuen. In dem Beitrag wird der Ray Serve Deep Learning Container als unterstützter und vorgetesteter Container beschrieben, der bereits das Framework, GPU-Treiber und den Modellservicelayer enthält.

Das Material zeigt außerdem die Bereitstellung eines multimodalen Modells, das Bilder und Sprache in Amazon EKS auf einem einzelnen GPU-Knoten verwendet, unter Einsatz dieses Containers. Der Autor gibt keine Details zu Konfiguration, Testergebnissen oder Migrationsbedingungen preis.

Praktischer Nutzen für Teams: Sie können sich auf eine fertige Komponenten-Kombination verlassen statt den gesamten Umgebung selbst zusammenzustellen. Dies ergibt sich aus der Beschreibung von AWS, nicht aus einer bestätigten Quelle mit Testergebnissen.