AI 语音延迟的 800 毫秒生死线:一次实时对话的时延拆解

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

语音 AI 的体验临界点约在 800 毫秒,超过就会被感觉「它是不是没听见」。本文把一次完整轮次拆成 VAD、ASR、LLM、TTS 四段,给出每段的可压缩空间和打断处理的实现要点。

临界点在哪里

人类对话的应答间隔平均约 200 毫秒,超过 700 毫秒对方就会察觉”有点慢”,超过 1.5 秒基本会以为信号不好或者对方没听清。

语音 AI 的体感门槛大致在 800 毫秒,这是从用户说完最后一个字,到听见第一个回应音节的时间。超过这条线,用户会开始重复、插话或者挂断。

好消息是,800 毫秒是可达的。坏消息是,它需要每一段都不浪费。

四段耗时拆开看

一次完整轮次的链路是:

用户说话 → VAD 判定结束 → ASR 转写 → LLM 生成 → TTS 合成 → 播放

各段的典型耗时(服务端,不含网络):

阶段简单实现优化后可压缩空间
VAD 静音判定600–900ms200–300ms大
ASR400–800ms(整段)150–300ms(流式)大
LLM 首 token300–600ms200–400ms中
TTS 首包400–800ms(整句)150–300ms(流式)大

简单实现加起来 1.7–3 秒,优化后可以进入 700–1000 毫秒。差别几乎全在是否流式。

第一段:VAD,最容易浪费的地方

VAD(语音活动检测)常见的错误配置是”静音 800ms 判定说完”。用户中间停顿一下思考,系统就抢话了。

优化做法:

  1. 动态阈值:根据语境调整。用户刚说完一个完整句子、语调下降时,用 300ms 判定;用户在句中停顿,延长到 700ms。
  2. 语义辅助判定:转写文本如果以”但是""那个”结尾,明显没说完,不应触发。这需要 ASR 先给出部分结果,属于”边转边判”。
  3. 允许打断:用户在 AI 说话时开口,应当立即停止播放。这需要播放端和 VAD 并行工作,而不是等播放完。

第二段:ASR 必须流式

整段转写的代价是必须等全部语音结束才开始,白白增加几百毫秒。流式 ASR 可以边说话边出字,VAD 判定结束那一刻,绝大部分内容已经转好。

两个关键设计:

  • 中间结果只用于展示和判定,最终结果用于 LLM 输入。不要在中间结果上就跑 LLM,会因为修正导致重复生成。
  • 数字、专有名词要用热词表。语音场景里”三期”和”三七”、“AI”和”EI”的混淆极其常见。热词表是投入产出比最高的一项配置。

第三段:LLM 首 token 是硬门槛

语音场景对 LLM 的要求和文本不同:

  • 短:口语回答 30–80 字即可,长了听着累。max_tokens 要设得住。
  • 快:首 token 时间比总时长更重要。可以用小模型、或”首句用快模型,后续补细节”的分段策略。
  • 别用长上下文:语音对话历史累积很快,三轮之后输入可能上万 token。务必做历史摘要压缩。

一个实用技巧:先说”好的,我查一下”,同时开始生成真正的内容。这不是作弊,人类也这么说话。它把感知等待转移到了”被回应”上。

第四段:TTS 流式合成

整句合成意味着要等 LLM 全部写完。流式 TTS 可以按句子甚至按分句切分,边生成边合成。

注意切分点:在标点处切,但逗号切太碎会导致语调断裂。经验做法是按句子切,遇到长句(超过 30 字)再在从句处切。

还有一个常被忽视的点:首包延迟比合成速度重要。TTS 供应商的平均速度差别不大,但首包延迟可能相差 300ms。选型时一定要测首包。

打断处理

这是语音 AI 和文本 AI 体验差距最大的地方。用户打断时要做四件事:

  1. 立刻停止播放(客户端本地停止,不要等服务端指令)。
  2. 取消正在进行的 LLM 生成(否则浪费 token,且你会在新轮次里拿到旧答案)。
  3. 清空未播放的 TTS 缓冲。
  4. 把”用户打断的位置”记进上下文,下一轮要接得上。

第 4 点很少人做。用户打断说”等等,你刚才说的第二点”,如果系统不知道说到哪了,就只能重新讲。

一个可测的最小方案

如果要用最少的工程量做到可用:

  • ASR 用流式接口
  • LLM 用快模型 + 流式输出,限制 60 字
  • TTS 用流式接口,按句切分
  • VAD 阈值 350ms,播放端支持本地打断

这套组合在我们的测试中,端到端首音节能做到 900ms 左右,配合”先说一句承接语”的处理,感知体验已经不像机器。

最后

语音 AI 的难点不在模型能力,在延迟分配。每一段省 100 毫秒,加起来就是体验的质变。反过来,任何一段用了非流式接口,整体就永远进不了 800 毫秒。

如果你的语音 AI 用户说”它反应好慢”,先做一件事:在每一段打时间戳。瓶颈一定是某一处你没想到的地方。

📤 分享到