流式输出看起来更快的秘密,以及它带来的三个新麻烦
流式把 4 秒等待变成 0.8 秒首字,但它同时破坏了重试、审计和结构化解析。本文讲透流式的收益边界,并给出在流式架构下保留可靠性的工程做法。
收益是真的
同样一次生成,用户实际等待的总时间没变,但感知差别巨大:
- 非流式:空白 4.2 秒,然后一次性出现全文。
- 流式:0.6 秒出现第一个字,之后以每秒 30–50 字的速度涌现。
用户的心智模型里,“有东西在动”等于”系统在工作”。这就是流式几乎无成本却几乎必须上的原因。
但很多团队在上线流式之后发现新问题:重试变难了、日志变乱了、结构化解析全炸了。 这些都不是流式本身的错,是原来依赖”一次性完整响应”的架构假设被打破了。
麻烦一:错误发生在生成中途
非流式请求失败,你拿到一个错误码,重试就行。流式失败时,你可能已经把前 300 字推给了用户页面。此时:
- 重新生成 → 用户会看到内容重复或前后矛盾。
- 直接断开 → 用户看到半截句子。
- 静默续写 → 做不到,模型的上下文状态不连续。
务实做法有三层:
- 客户端缓冲:前端不要逐字立即渲染最终态,保留一个可回滚的”草稿层”。检测到流异常时显示”重新生成”按钮,而不是把半截话留在屏幕上。
- 首包检测:在第一个有意义的 token 到达前(比如第一句完整的话),先不渲染正文,只显示状态。这能把大部分早期失败挡住。
- 服务端日志要按流记录:保存每次请求的 token 进度、断开原因、已生成字符数。否则你无法区分”用户关闭了页面”和”上游断了”。
麻烦二:结构化输出和流式天然冲突
很多人想同时要”流式显示”和”可靠 JSON”。这两件事在技术上相关,在体验上矛盾:JSON 在完整之前是无效的,你不能把 {"items": [{"na 渲染给用户看。
三种解法:
- 不流式:结构化任务直接关掉流式。这是最简单的正确答案。用户不会盯着一个 JSON 转圈。
- 边流边累积,末尾解析:把流当作”心跳”,只更新进度条,完整后在最后一包做
JSON.parse。适合耗时长的抽取任务。 - 工具调用替代:用 function calling 的参数流,很多厂商支持 partial arguments,可以做到边生成边增量解析已完成的对象。
关键认知:流式的价值在”给人看”,结构化输出的价值在”给程序用”。不要试图让同一个流服务两种目标。
麻烦三:审计和安全检查的时机变了
内容安全检查通常发生在生成后。流式下,你要么边生成边检查(复杂、可能误杀),要么先放行后补查(有风险窗口)。
工程上的折中是:
- 前缀级快速规则:敏感词、明显违规用轻量规则实时拦。
- 完整响应后异步复核:生成完毕做一次完整审核,命中则标记该会话并通知,必要时前端撤回。
- 高风险场景不用流式:涉及医疗、金融建议等,宁可慢也别先放出去。
同时,流式对日志存储不友好。很多团队发现日志量暴涨数倍,因为每个 chunk 都记了。做法是只记最终拼装结果 + 首包时间 + 中断原因,不要逐 chunk 落盘。
一个常被忽略的细节:Markdown 渲染
流式内容大多是 Markdown。前端如果每来一个 chunk 就整篇重新解析,长回答会越写越卡,尤其是有代码块和表格时。
两个简单优化:
- 节流合并:每 50–80ms 合并一次更新,不要每个 chunk 都触发渲染。
- 尾部不完整块的容错:代码块未闭合时先按纯文本渲染,闭合后再切换为高亮。否则用户会看到半截代码闪烁。
什么时候不该用流式
- 输出很短(少于 50 字):流式没意义,反而多几次往返。
- 结果需要整体判断(分类、评分、JSON):整包返回更好。
- 需要在返回前做完整审核:流式只是把风险提前放出去。
- 批量任务(离线处理):完全不需要。
小结
流式是一件”几乎免费的体验升级”,但它的免费是有前提的:你的架构要接受”响应是不完整且可能中途失败的”。 把这四个字写进设计里——可回滚、可续、可审计、可降级——流式就能放心用。
如果做不到,那就老老实实等整包。慢一点,但不出错。