vLLM 0.28.0 引入分层 KV 缓存并移除两个参数 RSS

vLLM 0.28.0 是 584 次提交、270 位贡献者的大型更新，不是常规补丁。它带来磁盘 KV offload、可在树外加载的二级层管理器和 tiering 指标，以及 Model Runner V2 的 E/P/D 解耦与权重 offload，同时把 max_num_batched_tokens 默认值提高到 16384。兼容性上 bitsandbytes 移为外置插件，两个已弃用的运行时参数被删除。升级前应对首字延迟、吞吐与失败恢复做 A/B 对比。

发布于 2026-09-10T06:53:46.131563Z · vLLM · GitHub

KV 缓存 推理服务

vLLM 0.28.0 是 584 次提交、270 位贡献者的大型更新，不是常规补丁。它带来磁盘 KV offload、可在树外加载的二级层管理器和 tiering 指标，以及 Model Runner V2 的 E/P/D 解耦与权重 offload，同时把 max_num_batched_tokens 默认值提高到 16384。兼容性上 bitsandbytes 移为外置插件，两个已弃用的运行时参数被删除。升级前应对首字延迟、吞吐与失败恢复做 A/B 对比。

vLLM 0.28.0 是 584 次提交、270 位贡献者的大型更新，不是常规补丁。它带来磁盘 KV offload、可在树外加载的二级层管理器和 tiering 指标，以及 Model Runner V2 的 E/P/D 解耦与权重 offload，同时把 max_num_batched_tokens 默认值提高到 16384。兼容性上 bitsandbytes 移为外置插件，两个已弃用的运行时参数被删除。升级前应对首字延迟、吞吐与失败恢复做 A/B 对比。

原始来源 ↗

来源记录

• center.info_item · 4f7b06f38a0afd6b · 2026-10-03T04:08:35.169032Z
• pgweb.info_item · 4f7b06f38a0afd6b · 2026-10-03T04:08:55.967155Z