vLLM 0.32.0:更省显存的 KV 缓存,和一串破坏性改动
vLLM 发布 v0.32.0(363 位贡献者、814 次提交):低精度 KV 缓存覆盖更多显卡、GLM-5.x 在 SM100 默认 FP8 KV、新增结构化决策接口,并修了三个安全公告;同时停止支持 Python 3.10,默认 CORS 收紧。
khluu原始发布
为什么值得留
自己部署开放模型的人,升级前能按这份清单先查兼容性,再决定开哪些省显存选项。
可以从这里开始
在测试环境用 v0.32.0 跑一次你现在的模型和请求,重点看 CORS、Python 版本和 Responses 流事件名。
阅读时留意
吞吐提升数字都来自各 PR 自己的基准,硬件和负载特定;破坏性改动可能影响现有服务,节选截断在发布产物部分。
OnBalls 导读整理于 2026.10.23。只读收件箱保存的发布说明前半部分(亮点、安全、破坏性改动);未读完整变更列表。