Cloudflare 讲了服务超长上下文模型的三层取舍 RSS

只压权重而不管缓存容量和页归属，可能把吞吐优化变成正确性事故。Cloudflare 公开了三处改动：在 Kimi K2.6 上把 KV cache 降到 FP8，可容纳上下文从约 68.6 万 token 提到 137 万；把 GLM 5.2 权重从 FP8 压到 INT4，检查点从 705 GB 降到 421 GB；给物理缓存页加再分配标记，解码读取前核对请求期待的页和标记，不匹配就中止，防止共享缓存串话。

发布于 2026-09-10T10:59:47.452843Z · Cloudflare · Cloudflare 博客

KV cache 推理 量化

只压权重而不管缓存容量和页归属，可能把吞吐优化变成正确性事故。Cloudflare 公开了三处改动：在 Kimi K2.6 上把 KV cache 降到 FP8，可容纳上下文从约 68.6 万 token 提到 137 万；把 GLM 5.2 权重从 FP8 压到 INT4，检查点从 705 GB 降到 421 GB；给物理缓存页加再分配标记，解码读取前核对请求期待的页和标记，不匹配就中止，防止共享缓存串话。

只压权重而不管缓存容量和页归属，可能把吞吐优化变成正确性事故。Cloudflare 公开了三处改动：在 Kimi K2.6 上把 KV cache 降到 FP8，可容纳上下文从约 68.6 万 token 提到 137 万；把 GLM 5.2 权重从 FP8 压到 INT4，检查点从 705 GB 降到 421 GB；给物理缓存页加再分配标记，解码读取前核对请求期待的页和标记，不匹配就中止，防止共享缓存串话。

原始来源 ↗

来源记录

• center.info_item · ec248176c2b888fe · 2026-10-03T04:08:35.169032Z
• pgweb.info_item · ec248176c2b888fe · 2026-10-03T04:08:55.967155Z