AWS Machine Learning Blog описал способ настройки автоматического масштабирования для систем синтеза речи на Amazon SageMaker AI. В качестве примера используется пользовательский контейнер с моделью Kokoro-82M.
В публикации предлагается выводить политику масштабирования из двух измерений работающего endpoint: максимальной пропускной способности Q_max и общего времени T_total. Такой подход противопоставлен выбору порогов «на глаз».
Практический смысл метода — связать расходы на GPU и соблюдение целевого уровня задержки с наблюдаемыми характеристиками конкретной системы. При этом исходный материал не приводит сами значения измерений, готовые пороги или подтверждение результатов в независимых тестах.
комментарий редакции
Что это значит
Вероятное следствие — более воспроизводимая настройка масштабирования для пользовательских TTS-развёртываний, если измерения действительно отражают рабочую нагрузку. Следующим наблюдаемым сигналом будут опубликованные формулы, числовые пороги и результаты тестов. Существенная неопределённость сохраняется из-за отсутствия полного текста и независимой проверки.