模型明明很快,你的应用却很慢:拆解大模型出字速度的三种瓶颈

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

把「模型首字延迟」和「端到端等待时间」混为一谈,是AI应用性能优化的第一大坑。本文拆开预填充、解码、网络与排队三段耗时,给出每段的实测方法和优先修哪一段。

一个真实的困惑

同一个模型,在官方 Playground 里首字 0.4 秒,接进自己的产品后用户却抱怨”要等五秒”。开发者第一反应是”是不是模型在限速我”,于是去换模型、买更贵的套餐,效果不大。

问题在于:用户感受到的等待 = 排队 + 预填充 + 解码 + 网络往返 + 前端渲染,而模型本身的出字速度只占其中一段。五段里只有一段跟模型能力直接相关,其余四段是你自己的工程问题。

第一段:排队

如果你用的是按量计费的 API,高峰期会遇到 429 和”静默排队”——请求被接受但迟迟不开始生成。判断方法很简单:记录请求发出到第一个 token 到达的时间(TTFT),再看服务端返回的 x-request-start 之类头部(不同厂商命名不同)。

TTFT 在 2 秒以上、且波动很大(有时 0.5 秒,有时 6 秒),基本可以判定是排队或限流,而不是模型慢。

修法按成本从低到高:

  1. 错峰与重试:客户端指数退避,不要 200ms 就重试,会加重限流。
  2. 多区域/多供应商分流:同一个模型走两条通道,哪条 TTFT 低走哪条。
  3. 预留吞吐:如果业务可预测(如每天早九点的日报),买 provisioned throughput,比按量贵但稳定。

第二段:预填充(prompt processing)

预填充是把你的输入 token 全部读一遍、建立 KV 缓存的过程。它跟输入长度近似线性相关,跟输出长度无关。

这个数字很多人没算过:输入 1 万 token、输出 100 token 的场景,耗时几乎全在预填充。 典型的就是 RAG 问答和客服机器人——检索塞进去一大堆文档,然后只回答一句话。

验证方法:把同一段 prompt 的输入砍掉一半,看 TTFT 是否也大约减半。如果是,你该优化的是检索精度,而不是换个更快的模型。

三条有效手段:

  • 只放该放的:检索 Top-20 改成 Top-5 加 rerank,输入从 8000 token 降到 2000,TTFT 通常降 60% 以上,答案质量反而更好。
  • 提示缓存(prompt caching):系统提示词、工具定义、长文档前缀这些固定部分,各家都支持缓存命中价,延迟也会显著下降。前提是前缀稳定——你在最前面插一个时间戳,缓存就全废了。
  • 少用长上下文兜底:把”反正上下文长,全塞进去”当作设计,预填充会一直是瓶颈。

第三段:解码(token/s)

解码是逐 token 生成,速度由模型大小、硬件、批处理规模决定。这一段才是真正的”模型速度”。

注意一个常见的误读:很多榜单报的是单请求时的 token/s,实际生产里多个请求并发批处理,单请求速度会下降。你的 100 个用户同时提问,每个人的出字速度不会是榜单上的数字。

所以有两个指标要分开看:

  • 单用户出字速度:影响”它是不是在卡”的观感。
  • 聚合吞吐(token/s/美元):影响你的账单。

优化顺序是先保证单用户可感知流畅(一般 25 token/s 以上阅读不费劲),再谈吞吐。手段包括:把输出限制在必要长度(max_tokens 不是装饰)、用流式输出把等待摊开、非核心环节换小模型。

第四段:网络与协议

跨地区访问跨境 API,RTT 可能 200ms 以上;HTTP/2、TLS 握手、代理链路都会叠加。这块不复杂,但经常被忽略:

  • 首字延迟里固定有 1–3 个 RTT,把服务部署到离 API 集群近的区域,能省下几十到上百毫秒。
  • 用流式(SSE)而非等全部生成完再返回,用户感知等待能从 4 秒降到 0.8 秒,实际总耗时不变。
  • 别在前端做脱敏等待动画前先阻塞渲染——很多”慢”是首屏 JS 太重。

第五段:前端渲染

最后一个坑:流式内容到达后,如果你的 Markdown 渲染器每个 token 重新解析整篇文档,长回答会越写越卡。做法是增量渲染或按段落节流(每 50–80ms 合并一次更新)。

一张排查表

现象最可能瓶颈先做什么
TSFT 波动大、偶发 10 秒排队/限流分流 + 退避重试
输入长时首字慢,输出短预填充减少检索条数、启用前缀缓存
首字快但写得慢解码换更快模型或缩短输出
首字和出字都快,用户仍说卡网络/前端流式 + 增量渲染
白天慢晚上快容量预留吞吐或错峰批处理

一个可执行的第一步

别急着换模型。先在网关层给每次请求打三个时间戳:发出、首个 token、最后一个 token。跑一周,你会得到三条曲线,瓶颈自己就跳出来了。

大多数团队做完这一步的结论是:模型没问题,是我们的输入太胖、或者我们的容量没有预留。 这两个都能在自己手里改。

📤 分享到