模型明明很快,你的应用却很慢:拆解大模型出字速度的三种瓶颈
把「模型首字延迟」和「端到端等待时间」混为一谈,是AI应用性能优化的第一大坑。本文拆开预填充、解码、网络与排队三段耗时,给出每段的实测方法和优先修哪一段。
一个真实的困惑
同一个模型,在官方 Playground 里首字 0.4 秒,接进自己的产品后用户却抱怨”要等五秒”。开发者第一反应是”是不是模型在限速我”,于是去换模型、买更贵的套餐,效果不大。
问题在于:用户感受到的等待 = 排队 + 预填充 + 解码 + 网络往返 + 前端渲染,而模型本身的出字速度只占其中一段。五段里只有一段跟模型能力直接相关,其余四段是你自己的工程问题。
第一段:排队
如果你用的是按量计费的 API,高峰期会遇到 429 和”静默排队”——请求被接受但迟迟不开始生成。判断方法很简单:记录请求发出到第一个 token 到达的时间(TTFT),再看服务端返回的 x-request-start 之类头部(不同厂商命名不同)。
TTFT 在 2 秒以上、且波动很大(有时 0.5 秒,有时 6 秒),基本可以判定是排队或限流,而不是模型慢。
修法按成本从低到高:
- 错峰与重试:客户端指数退避,不要 200ms 就重试,会加重限流。
- 多区域/多供应商分流:同一个模型走两条通道,哪条 TTFT 低走哪条。
- 预留吞吐:如果业务可预测(如每天早九点的日报),买 provisioned throughput,比按量贵但稳定。
第二段:预填充(prompt processing)
预填充是把你的输入 token 全部读一遍、建立 KV 缓存的过程。它跟输入长度近似线性相关,跟输出长度无关。
这个数字很多人没算过:输入 1 万 token、输出 100 token 的场景,耗时几乎全在预填充。 典型的就是 RAG 问答和客服机器人——检索塞进去一大堆文档,然后只回答一句话。
验证方法:把同一段 prompt 的输入砍掉一半,看 TTFT 是否也大约减半。如果是,你该优化的是检索精度,而不是换个更快的模型。
三条有效手段:
- 只放该放的:检索 Top-20 改成 Top-5 加 rerank,输入从 8000 token 降到 2000,TTFT 通常降 60% 以上,答案质量反而更好。
- 提示缓存(prompt caching):系统提示词、工具定义、长文档前缀这些固定部分,各家都支持缓存命中价,延迟也会显著下降。前提是前缀稳定——你在最前面插一个时间戳,缓存就全废了。
- 少用长上下文兜底:把”反正上下文长,全塞进去”当作设计,预填充会一直是瓶颈。
第三段:解码(token/s)
解码是逐 token 生成,速度由模型大小、硬件、批处理规模决定。这一段才是真正的”模型速度”。
注意一个常见的误读:很多榜单报的是单请求时的 token/s,实际生产里多个请求并发批处理,单请求速度会下降。你的 100 个用户同时提问,每个人的出字速度不会是榜单上的数字。
所以有两个指标要分开看:
- 单用户出字速度:影响”它是不是在卡”的观感。
- 聚合吞吐(token/s/美元):影响你的账单。
优化顺序是先保证单用户可感知流畅(一般 25 token/s 以上阅读不费劲),再谈吞吐。手段包括:把输出限制在必要长度(max_tokens 不是装饰)、用流式输出把等待摊开、非核心环节换小模型。
第四段:网络与协议
跨地区访问跨境 API,RTT 可能 200ms 以上;HTTP/2、TLS 握手、代理链路都会叠加。这块不复杂,但经常被忽略:
- 首字延迟里固定有 1–3 个 RTT,把服务部署到离 API 集群近的区域,能省下几十到上百毫秒。
- 用流式(SSE)而非等全部生成完再返回,用户感知等待能从 4 秒降到 0.8 秒,实际总耗时不变。
- 别在前端做脱敏等待动画前先阻塞渲染——很多”慢”是首屏 JS 太重。
第五段:前端渲染
最后一个坑:流式内容到达后,如果你的 Markdown 渲染器每个 token 重新解析整篇文档,长回答会越写越卡。做法是增量渲染或按段落节流(每 50–80ms 合并一次更新)。
一张排查表
| 现象 | 最可能瓶颈 | 先做什么 |
|---|---|---|
| TSFT 波动大、偶发 10 秒 | 排队/限流 | 分流 + 退避重试 |
| 输入长时首字慢,输出短 | 预填充 | 减少检索条数、启用前缀缓存 |
| 首字快但写得慢 | 解码 | 换更快模型或缩短输出 |
| 首字和出字都快,用户仍说卡 | 网络/前端 | 流式 + 增量渲染 |
| 白天慢晚上快 | 容量 | 预留吞吐或错峰批处理 |
一个可执行的第一步
别急着换模型。先在网关层给每次请求打三个时间戳:发出、首个 token、最后一个 token。跑一周,你会得到三条曲线,瓶颈自己就跳出来了。
大多数团队做完这一步的结论是:模型没问题,是我们的输入太胖、或者我们的容量没有预留。 这两个都能在自己手里改。