维护者资料资源入口

vLLM 0.32.0:更省显存的 KV 缓存,和一串破坏性改动

vLLM 发布 v0.32.0(363 位贡献者、814 次提交):低精度 KV 缓存覆盖更多显卡、GLM-5.x 在 SM100 默认 FP8 KV、新增结构化决策接口,并修了三个安全公告;同时停止支持 Python 3.10,默认 CORS 收紧。

khluu原始发布
01

为什么值得留

自己部署开放模型的人,升级前能按这份清单先查兼容性,再决定开哪些省显存选项。

02

可以从这里开始

在测试环境用 v0.32.0 跑一次你现在的模型和请求,重点看 CORS、Python 版本和 Responses 流事件名。

03

阅读时留意

吞吐提升数字都来自各 PR 自己的基准,硬件和负载特定;破坏性改动可能影响现有服务,节选截断在发布产物部分。

OnBalls 导读整理于 2026.10.23。只读收件箱保存的发布说明前半部分(亮点、安全、破坏性改动);未读完整变更列表。

同一方向,继续读

这个方向的精选