AWS Machine Learning Blog は Amazon SageMaker AI 上の TTS システムの自動スケーリング設定の方法を説明しています。例として Kokoro-82M をユーザーコンテナで使用しています。

公開物では、スケーリングポリシーを実行中のエンドポイントの二つの測定値、Q_max(最大帯域幅)と T_total(総時間)から出すことが提案されています。これにより“目視”の閾値の設定に代わるアプローチとなります。

この方法の実用的な意味は、GPUコストと所望の遅延を、特定のシステムの観測可能な特性に結び付けることです。一方、元の資料には測定値自体や閾値の具体値、独立したテストの結果は示されていません。