流式输出看起来更快的秘密,以及它带来的三个新麻烦

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

流式把 4 秒等待变成 0.8 秒首字,但它同时破坏了重试、审计和结构化解析。本文讲透流式的收益边界,并给出在流式架构下保留可靠性的工程做法。

收益是真的

同样一次生成,用户实际等待的总时间没变,但感知差别巨大:

  • 非流式:空白 4.2 秒,然后一次性出现全文。
  • 流式:0.6 秒出现第一个字,之后以每秒 30–50 字的速度涌现。

用户的心智模型里,“有东西在动”等于”系统在工作”。这就是流式几乎无成本却几乎必须上的原因。

但很多团队在上线流式之后发现新问题:重试变难了、日志变乱了、结构化解析全炸了。 这些都不是流式本身的错,是原来依赖”一次性完整响应”的架构假设被打破了。

麻烦一:错误发生在生成中途

非流式请求失败,你拿到一个错误码,重试就行。流式失败时,你可能已经把前 300 字推给了用户页面。此时:

  • 重新生成 → 用户会看到内容重复或前后矛盾。
  • 直接断开 → 用户看到半截句子。
  • 静默续写 → 做不到,模型的上下文状态不连续。

务实做法有三层:

  1. 客户端缓冲:前端不要逐字立即渲染最终态,保留一个可回滚的”草稿层”。检测到流异常时显示”重新生成”按钮,而不是把半截话留在屏幕上。
  2. 首包检测:在第一个有意义的 token 到达前(比如第一句完整的话),先不渲染正文,只显示状态。这能把大部分早期失败挡住。
  3. 服务端日志要按流记录:保存每次请求的 token 进度、断开原因、已生成字符数。否则你无法区分”用户关闭了页面”和”上游断了”。

麻烦二:结构化输出和流式天然冲突

很多人想同时要”流式显示”和”可靠 JSON”。这两件事在技术上相关,在体验上矛盾:JSON 在完整之前是无效的,你不能把 {"items": [{"na 渲染给用户看。

三种解法:

  • 不流式:结构化任务直接关掉流式。这是最简单的正确答案。用户不会盯着一个 JSON 转圈。
  • 边流边累积,末尾解析:把流当作”心跳”,只更新进度条,完整后在最后一包做 JSON.parse。适合耗时长的抽取任务。
  • 工具调用替代:用 function calling 的参数流,很多厂商支持 partial arguments,可以做到边生成边增量解析已完成的对象。

关键认知:流式的价值在”给人看”,结构化输出的价值在”给程序用”。不要试图让同一个流服务两种目标。

麻烦三:审计和安全检查的时机变了

内容安全检查通常发生在生成后。流式下,你要么边生成边检查(复杂、可能误杀),要么先放行后补查(有风险窗口)。

工程上的折中是:

  • 前缀级快速规则:敏感词、明显违规用轻量规则实时拦。
  • 完整响应后异步复核:生成完毕做一次完整审核,命中则标记该会话并通知,必要时前端撤回。
  • 高风险场景不用流式:涉及医疗、金融建议等,宁可慢也别先放出去。

同时,流式对日志存储不友好。很多团队发现日志量暴涨数倍,因为每个 chunk 都记了。做法是只记最终拼装结果 + 首包时间 + 中断原因,不要逐 chunk 落盘。

一个常被忽略的细节:Markdown 渲染

流式内容大多是 Markdown。前端如果每来一个 chunk 就整篇重新解析,长回答会越写越卡,尤其是有代码块和表格时。

两个简单优化:

  1. 节流合并:每 50–80ms 合并一次更新,不要每个 chunk 都触发渲染。
  2. 尾部不完整块的容错:代码块未闭合时先按纯文本渲染,闭合后再切换为高亮。否则用户会看到半截代码闪烁。

什么时候不该用流式

  • 输出很短(少于 50 字):流式没意义,反而多几次往返。
  • 结果需要整体判断(分类、评分、JSON):整包返回更好。
  • 需要在返回前做完整审核:流式只是把风险提前放出去。
  • 批量任务(离线处理):完全不需要。

小结

流式是一件”几乎免费的体验升级”,但它的免费是有前提的:你的架构要接受”响应是不完整且可能中途失败的”。 把这四个字写进设计里——可回滚、可续、可审计、可降级——流式就能放心用。

如果做不到,那就老老实实等整包。慢一点,但不出错。

📤 分享到