TTS 自动扩缩容：用两次实测代替拍脑袋
AWS 机器学习博客：在 SageMaker 上部署自定义 TTS 时，扩缩容阈值常靠猜，猜错要么浪费 GPU，要么超出延迟目标。文中把 Kokoro-82M 做成自定义容器，用线上端点测得的两个量 Q_max 和 T_total 推出扩缩策略。
Joseph Cottingham原始发布
为什么值得留
自己部署推理服务的人，可以借这个「先测单实例极限，再定阈值」的方法，不限于 TTS。
可以从这里开始
对你的一个推理端点做一次压测，记下延迟开始超标时的并发数，用它设扩容阈值。
阅读时留意
节选没有给出公式和具体数值；方法以 SageMaker 指标为前提，换平台要找对应的指标。
OnBalls 导读整理于 2026.10.23。只读收件箱保存的博客摘要；未见 Q_max、T_total 的定义和推导。