KV Cache 才是推理成本的隐形大头:一次算清显存、批处理与吞吐

📅 2026/11/15 ✍️ 小文 📖 约 1 分钟

同一张 GPU,跑同一个模型,吞吐能差 5 倍。差别几乎全在 KV Cache 的显存管理上。本文讲清 KV Cache 怎么吃显存、PagedAttention 解决了什么、以及压吞吐的四个旋钮。

很多团队估算推理成本的方式是:看模型参数量、看单 token 价格、乘个调用量。然后上线,账单对不上。

对不上的部分,大部分藏在KV Cache 里。它是自回归生成的核心开销,也是最容易被忽略的成本项——因为它在 API 计价里是隐形的,只在自建推理时才蹦到台面上。

KV Cache 到底是什么,为什么会吃显存

Transformer 每生成一个 token,都要对之前所有 token 做注意力计算。如果不做缓存,第 n 个 token 就要重算前 n-1 个 token 的 K 和 V 矩阵,总计算量是 O(n²) 的重复劳动。

KV Cache 的思路是:把每一层已经算出来的 K(Key)和 V(Value)存下来,下次直接用。 用显存换计算,这是所有主流推理引擎的默认做法。

显存占用有个可以直接套的公式:

KV Cache 大小 ≈ 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × 精度字节

以一个 70B 级别的模型为例(80 层、GQA 8 个 KV 头、头维度 128、FP16):

单条 8K 上下文的序列,KV Cache 约 2 × 80 × 8 × 128 × 8192 × 2 ≈ 2.1 GB。

看起来还好。但并发 32 条呢?67 GB。一张 80GB 的卡,模型权重本身就要 40GB(INT8 量化后),剩下的空间全被 KV Cache 吃掉,能跑的并发被锁死在个位数。

这就是为什么”模型能加载起来,但吞吐上不去”。

三个容易踩的坑

坑一:以为长上下文只影响首 token 延迟。 长上下文真正的代价在并发。上下文 32K 的请求,KV Cache 是 8K 请求的四倍,同一张卡能同时服务的请求数直接掉到四分之一。成本是按 GPU 时长算的,等于单价翻了四倍。

坑二:忽略注意力头的数量差异。 MHA(多头注意力)每个头都有独立 KV,GQA(分组查询注意力)多个查询头共享一组 KV。同样 70B,MHA 的 KV Cache 可能是 GQA 的 8 倍。选模型时看”KV 头数”,比看参数量更能预测推理成本。

坑三:把 batch 开满。 显存是静态分配的,批处理开太大会直接 OOM;开太小又浪费。实际情况是显存碎片——不同长度的请求来来去去,预留的连续块用不上。这正是 PagedAttention 要解决的问题。

PagedAttention:把显存当虚拟内存管理

vLLM 的核心贡献,是把 KV Cache 按固定大小的 block(比如 16 个 token)切分,用类似操作系统页表的方式映射逻辑序列到物理块。收益有两个:

  • 碎片几乎消除。原来按最大长度预分配,浪费可达 60%–80%;分页后浪费通常低于 4%。
  • 前缀可共享。相同前缀的多个请求(同一个 system prompt、同一份长文档)可以指向同一批物理块,只读共享。

第二条在真实业务里价值巨大。如果你有 2000 token 的固定 system prompt + 工具定义,1000 个并发请求原本要存 1000 份,现在只存 1 份。

直接后果:同样的硬件,吞吐提升 2–4 倍。这不是理论数字,是 vLLM 论文里报告的量级,也在我们的实际部署中复现过。

压吞吐的四个旋钮

按投入产出比排序:

1. 前缀缓存(几乎免费) 把 system prompt、few-shot 示例、固定知识片段放在请求最前面,且保证完全一致。差一个空格,缓存全失效。有些引擎提供显式的前缀缓存 API,命中后这部分计算和显存都省了。

2. 量化 KV Cache 到 FP8/INT8 KV Cache 对精度不敏感,量化到 FP8 后显存直接减半,质量损失通常可忽略。这是单行配置改动,收益最直接。注意:要和模型权重量化分开考虑,两者独立配置。

3. 选 GQA/MQA 架构的模型 这是选型阶段的事,但影响最大。同样能力水平的模型,KV 头数 8 和 64 的差别,落地成本可能差三四倍。

4. 控制上下文长度 最有争议但最有效。很多业务把上下文设到 32K 是为了”以防万一”,实际 95% 的请求用不到 4K。用动态截断 + 摘要压缩把 P99 控制在 8K 以内,并发能力立刻翻倍。

一个实际的调整案例

一个文档问答服务,原本配置:70B 模型 INT8、上下文 16K、并发 16、吞吐 220 token/s/卡。

调整动作:

  1. 把工具定义和知识片段前置并固定(前缀缓存命中率 78%);
  2. KV Cache 量化到 FP8;
  3. 上下文从 16K 收到 8K,超长请求走单独的低并发池。

结果:单卡吞吐 760 token/s,P99 延迟反而降了 15%,每百万 token 成本降到原来的 31%。

模型没换,硬件没加,只是把 KV Cache 管住了。

怎么开始

如果你在自建推理,先做一件事:把服务的 gpu_memory_利用率、kv_cache_usage、num_running_requests 三个指标打到监控上。当 KV Cache 峰值长期高于 70%,说明并发已经被它卡住,上面四个旋钮里至少有一个该拧了。

📤 分享到