流式输出不只是"打字机效果":延迟感知设计如何改变用户留存

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

同样的响应时间,把首字延迟从 4 秒降到 1 秒,用户主观等待感能下降一半以上。本文拆解首字延迟、节奏控制、可中断性三个维度,以及几个反直觉的实测结论。

如果你问一个产品经理”流式输出是什么”,多数人会答”就像 ChatGPT 那样一个字一个字往外蹦”。

这是它的表现形式,不是它的价值。流式输出的真正价值在于它把一段无法感知的等待,变成了一段可以被观察的进展。而感知等待和实际等待,是两个完全不同的量。

一、三个测量维度

用户体验 AI 响应时,实际上在等三次:

  • T1 首字延迟(TTFT):点击发送到第一个字出现
  • T2 完整体验时长:到最后一个字出现
  • T3 可操作延迟:到用户能复制、能点下一步

绝大多数优化只盯 T2(模型总耗时),但用户感知最强的是 T1。

一个常被引用的实测结论是:首字延迟从 4 秒降到 1 秒带来的满意度提升,大于总耗时从 30 秒降到 20 秒。原因很直观——4 秒之内没有任何反馈,用户会怀疑”是不是没发出去”、“是不是卡了”,甚至重新点一次发送(这会造成重复请求,进一步加剧负载)。

二、T1 怎么打下来

首字延迟 = 排队 + 检索 + 提示处理 + 首个 token 生成。逐段看:

检索段最常见的浪费:串行。 很多 RAG 实现是”先检索(1.2s)→ 再调模型”,而用户的原始问题往往可以先把”我明白了,正在查资料”这句话发出去。用一个极快的模型先响应,再让主模型慢慢来,是成本最低的 T1 优化。

提示过长的代价不只是钱。 12k token 的输入,prefill 阶段本身的耗时可能就是几百毫秒,缓存命中能显著改善。这也是为什么提示前缀稳定不仅省钱,还降延迟。

不要过早流式,但也不要太晚。 如果流式是以”完整段落”为单位推送,那 T1 就等于段落生成时间,用户看到的仍然是长等待。真正的流式应该是 token 级或小批次(每 30–60ms 一次)。

排队策略。 高峰期排队,用户是在等一个”什么都没有”的界面。把排队状态显式展示(“前方还有 3 个任务”),比让用户对着转圈图标更有耐心。

三、节奏控制:快不一定好

一个反直觉的实测结论:过快的输出反而降低阅读质量。当文本以每秒 80 个汉字的速度刷新时,用户眼睛跟不上,实际上会放弃阅读、等它结束再回头读——这就抵消了流式的价值。

比较舒服的区间大致是每秒 30–60 个汉字。低于 20 会显得卡顿,高于 80 就变成”闪屏”。

另外几个节奏细节:

  • 结构化内容延迟渲染:表格、代码块、公式,等完整再一次性显示,而不是让用户看着半张表格逐行拼起来。
  • 长回答加分段锚点:超过 500 字时,在开始就给一个”共 5 个部分”的预期,用户知道大概要看多久。
  • 先给结论再给论证:把最重要的那句话放在前 50 个字内,这样用户即使中途离开也拿到了核心信息。

四、可中断性是留存的隐形杠杆

这一点几乎没人认真做,但它的用户价值极高。

一条长回答生成中,用户可能:

  • 已经读到答案了,想复制
  • 发现问题问错了,想改
  • 想让模型”用更短的方式说”

如果界面必须等生成结束才能操作,用户会白等 20 秒。停止按钮必须在 100ms 内生效,且已生成的部分必须保留可复制、可引用。

技术上要注意两点:一是停止时服务端要真正取消请求(否则继续消耗 token 和算力),二是已流出的内容要能作为后续对话的有效上下文(很多实现在这里会丢失,导致”继续”时模型重复已说过的内容)。

五、几个能被用户直接感知的小技巧

  • 不要在最后才出”正在思考”。在 T1 之前就给一个极轻量的状态(点一下变灰、显示”处理中”)。
  • 进度条只在能真实推进时使用。假进度条一旦走完但内容还没来,信任感崩塌的速度比没有进度条更快。
  • 失败要分阶段报错。“检索失败”和”生成超时”给出的重试建议不同,笼统的”出错了”会让用户不知道该重试还是重写问题。
  • 首屏要快,其余可以懒。历史会话列表、推荐问题这类内容不要阻塞主输入框。

六、怎么量化

埋四个指标即可:TTFT 的 P50 与 P95、中断率、中途复制率。

其中重复发送率(3 秒内连点两次发送的比例)最灵敏,它直接回答”系统到底给我反馈了吗”。

七、结论

流式输出经常被当成一个 UI 特效来处理,但它实际上是延迟的重新分配:把总耗时从”必须等完”变成”边等边看”。做得好的团队会围绕它重新设计整个交互——快速确认、可控节奏、随时中断、分段锚点。

一句话总结:用户从不讨厌等待,用户讨厌的是不知道还要等多久。流式输出之所以有效,正是因为它在回答这个问题。

📤 分享到