GPU 越来越快,推理却越来越贵:硬件的三个瓶颈,和一次算错的账
算力涨了十倍,单位 token 成本却没降十倍。本文拆解内存带宽、显存容量与互联带宽如何轮流成为瓶颈,并给出判断自己卡在哪一环的方法。
一个反直觉的现象:过去三年,主流 GPU 的 FP16 算力涨了大约 6–8 倍,但大模型推理的单位 token 成本,只降了 3–4 倍。中间差的那部分哪去了?
原因是:推理的大部分时间不在算,而在搬数据。 算力的增长,被内存带宽和显存容量的瓶颈吃掉了。
先说清楚生成过程在干什么
大模型生成一个 token 的过程,几乎全部是矩阵乘向量(GEMV):
- 读取模型权重(几百亿参数);
- 与当前激活值相乘;
- 得到下一个 token 的概率分布。
关键是第 1 步。每生成一个 token,都要把全部权重从显存读进计算单元一次。
以 70B 模型 INT8 量化为例,权重约 70GB。生成 1 个 token 要读 70GB 数据。H100 的显存带宽约 3.35 TB/s,理论极限是每秒 48 个 token——这只是单请求、忽略一切开销的上限。算力在这里几乎用不上,因为计算单元在等待数据。
这就是所谓 memory-bound(带宽受限)。也是为什么”算力翻倍”带不来”成本减半”。
三个瓶颈,轮流卡脖子
瓶颈一:显存带宽(在生成阶段)
上面那个 48 token/s 的数字,就是硬上限。要突破只有三条路:
- 量化:权重从 FP16 到 INT8/FP4,读的数据量减半到四分之一;
- 增加批大小:多个请求共享同一次权重读取,把”读一次算一个”变成”读一次算一批”——这是批处理为什么能大幅降低单 token 成本的真正原因;
- MoE 架构:每次只激活部分专家,读取的权重大幅减少。
三条里,批处理是免费的,其余都有代价。这也解释了为什么推理服务商那么在意并发量:并发低的时候,成本几乎等于闲置带宽。
瓶颈二:显存容量(在长上下文与并发阶段)
显存被三样东西瓜分:模型权重、KV Cache、临时激活。权重是固定的,激活很小,KV Cache 是变量。
KV Cache 随”序列长度 × 并发数”线性增长。上下文从 8K 涨到 128K,KV Cache 涨 16 倍——原本能跑 32 并发的卡,现在只能跑 2。
所以长上下文定价更贵,不是厂商在收智商税,而是成本结构决定的。
瓶颈三:互联带宽(在多卡并行阶段)
单卡放不下模型时,就要拆到多卡。这时瓶颈从显存带宽变成卡间通信:
- 张量并行(把每层拆开):每层都要 all-reduce,通信量巨大,只在 NVLink 内有效,跨节点性能断崖式下跌。
- 流水线并行(把层分组):通信量小,但有”流水线气泡”,卡数越多气泡越大。
- 专家并行(MoE 专用):每个 token 要路由到不同卡上的专家,all-to-all 通信对网络要求极高。
这带来一个重要结论:推理的规模效应在单机内显著,跨机后会迅速衰减。几十张卡的组织,往往需要更大的工程量才能摊平通信开销。
一次真实的成本估算
假设自建一个 70B INT8 模型的服务,目标 P95 延迟 3 秒首 token:
- 权重 70GB,单张 80GB 卡放得下,但只剩 10GB 给 KV Cache;
- 每并发、每 1K 上下文约 0.26GB KV Cache(按 80 层、8 个 KV 头、128 头维度估算)→ 10GB 大约支持 38K 的”并发×上下文”总量;
- 若平均上下文 4K,则并发约 9。
单卡吞吐受带宽限制约 48 token/s,9 并发下输出共享这一上限,平均每请求约 5 token/s。这个速度对聊天可以接受,对流式长文生成太慢。
要提升,路径只有:加卡(拆张量并行,但通信开销上来)、减上下文(降 KV Cache 占用)、或量化到 FP4(读的数据再减半)。
每一项的收益都可以提前算出来,而不是买了卡再看效果。 这就是为什么要先建模。
判断自己卡在哪一环
三个指标足够:
| 指标 | 偏低意味着 |
|---|---|
| GPU 计算利用率 | 带宽受限或批太小,先加并发 |
| 显存占用中 KV Cache 的比例 | >70% 说明上下文/并发被显存卡住 |
| 卡间通信时间 / 总时间 | >25% 说明并行策略或网络是瓶颈 |
第一个指标低而第二个高,是典型的”有卡跑不满”——该做的是 KV Cache 优化,不是加卡。
回到最初的账
算力涨 7 倍,成本降 3.5 倍,剩下的差距去哪了?
- 一部分被更长的上下文吃掉了(用户要求变高);
- 一部分被更大的模型吃掉了(同价位能跑更大的模型);
- 一部分被多卡通信吃掉了(模型大到必须拆)。
成本下降是真实的,但从来不是线性的。 任何”算力 X 倍所以成本降 X 倍”的推算,都忽略了访存这个底层约束。
这也意味着,下一轮成本下降最可能来自由架构变化(MoE、稀疏化、更激进的量化),而不是单纯的制程进步。