Le AWS Machine Learning Blog décrit la méthode de configuration de l’évolutivité automatique pour les systèmes de synthèse vocale sur Amazon SageMaker AI. À titre d’exemple, un conteneur personnalisé utilisant le modèle Kokoro-82M est utilisé.

Dans la publication, il est proposé d’extraire la politique de mise à l’échelle à partir de deux mesures de l’endpoint opérationnel: la capacité maximale Q_max et le temps total T_total. Cette approche est opposée au choix de seuils «à l’œil».

La signification pratique de la méthode est de lier les coûts GPU et le respect du niveau de latence cible aux caractéristiques observables d’un système donné. Le matériel source ne fournit pas les valeurs mesurées, ni des seuils prêts, ni une vérification des résultats dans des tests indépendants.