vLLM 0.28.0 引入分层 KV 缓存并移除两个参数
vLLM 0.28.0 是 584 次提交、270 位贡献者的大型更新,不是常规补丁。它带来磁盘 KV offload、可在树外加载的二级层管理器和 tiering 指标,以及 Model Runner V2 的 E/P/D 解耦与权重 offload,同时把 max_num_batched_tokens 默认值提高到 16384。兼容性上 bitsandbytes 移为外置插件,两个已弃用的运行时参数被删除。升级前应对首字延迟、吞吐与失败恢复做 A/B 对比。




