Amazon SageMaker AI сообщил о 13 запусках для инференса в первой половине 2026 года. Они относятся к двум направлениям развертывания: полностью управляемым конечным точкам и Amazon SageMaker HyperPod Inference.

説明には推論のための推奨事項、利用可能な容量を考慮したインスタンスプール、マルチレベル KV キャッシング、および prefill と decode の段階の分離が含まれています。AWS Machine Learning Blog はこれらの変更を上半期のローンチレビューとして提示しています。

ユーザーにとってこれは、SageMaker AI エコシステム内での推論管理ツールとその最適化の発展を示唆しています。しかし、ソースはメタデータと要約の形式でのみ利用可能であるため、パフォーマンス、価格、地理的な可用性、または各ローンチの影響を確実に評価することはできません。