AI 语音延迟的 800 毫秒生死线:一次实时对话的时延拆解
语音 AI 的体验临界点约在 800 毫秒,超过就会被感觉「它是不是没听见」。本文把一次完整轮次拆成 VAD、ASR、LLM、TTS 四段,给出每段的可压缩空间和打断处理的实现要点。
临界点在哪里
人类对话的应答间隔平均约 200 毫秒,超过 700 毫秒对方就会察觉”有点慢”,超过 1.5 秒基本会以为信号不好或者对方没听清。
语音 AI 的体感门槛大致在 800 毫秒,这是从用户说完最后一个字,到听见第一个回应音节的时间。超过这条线,用户会开始重复、插话或者挂断。
好消息是,800 毫秒是可达的。坏消息是,它需要每一段都不浪费。
四段耗时拆开看
一次完整轮次的链路是:
用户说话 → VAD 判定结束 → ASR 转写 → LLM 生成 → TTS 合成 → 播放
各段的典型耗时(服务端,不含网络):
| 阶段 | 简单实现 | 优化后 | 可压缩空间 |
|---|---|---|---|
| VAD 静音判定 | 600–900ms | 200–300ms | 大 |
| ASR | 400–800ms(整段) | 150–300ms(流式) | 大 |
| LLM 首 token | 300–600ms | 200–400ms | 中 |
| TTS 首包 | 400–800ms(整句) | 150–300ms(流式) | 大 |
简单实现加起来 1.7–3 秒,优化后可以进入 700–1000 毫秒。差别几乎全在是否流式。
第一段:VAD,最容易浪费的地方
VAD(语音活动检测)常见的错误配置是”静音 800ms 判定说完”。用户中间停顿一下思考,系统就抢话了。
优化做法:
- 动态阈值:根据语境调整。用户刚说完一个完整句子、语调下降时,用 300ms 判定;用户在句中停顿,延长到 700ms。
- 语义辅助判定:转写文本如果以”但是""那个”结尾,明显没说完,不应触发。这需要 ASR 先给出部分结果,属于”边转边判”。
- 允许打断:用户在 AI 说话时开口,应当立即停止播放。这需要播放端和 VAD 并行工作,而不是等播放完。
第二段:ASR 必须流式
整段转写的代价是必须等全部语音结束才开始,白白增加几百毫秒。流式 ASR 可以边说话边出字,VAD 判定结束那一刻,绝大部分内容已经转好。
两个关键设计:
- 中间结果只用于展示和判定,最终结果用于 LLM 输入。不要在中间结果上就跑 LLM,会因为修正导致重复生成。
- 数字、专有名词要用热词表。语音场景里”三期”和”三七”、“AI”和”EI”的混淆极其常见。热词表是投入产出比最高的一项配置。
第三段:LLM 首 token 是硬门槛
语音场景对 LLM 的要求和文本不同:
- 短:口语回答 30–80 字即可,长了听着累。
max_tokens要设得住。 - 快:首 token 时间比总时长更重要。可以用小模型、或”首句用快模型,后续补细节”的分段策略。
- 别用长上下文:语音对话历史累积很快,三轮之后输入可能上万 token。务必做历史摘要压缩。
一个实用技巧:先说”好的,我查一下”,同时开始生成真正的内容。这不是作弊,人类也这么说话。它把感知等待转移到了”被回应”上。
第四段:TTS 流式合成
整句合成意味着要等 LLM 全部写完。流式 TTS 可以按句子甚至按分句切分,边生成边合成。
注意切分点:在标点处切,但逗号切太碎会导致语调断裂。经验做法是按句子切,遇到长句(超过 30 字)再在从句处切。
还有一个常被忽视的点:首包延迟比合成速度重要。TTS 供应商的平均速度差别不大,但首包延迟可能相差 300ms。选型时一定要测首包。
打断处理
这是语音 AI 和文本 AI 体验差距最大的地方。用户打断时要做四件事:
- 立刻停止播放(客户端本地停止,不要等服务端指令)。
- 取消正在进行的 LLM 生成(否则浪费 token,且你会在新轮次里拿到旧答案)。
- 清空未播放的 TTS 缓冲。
- 把”用户打断的位置”记进上下文,下一轮要接得上。
第 4 点很少人做。用户打断说”等等,你刚才说的第二点”,如果系统不知道说到哪了,就只能重新讲。
一个可测的最小方案
如果要用最少的工程量做到可用:
- ASR 用流式接口
- LLM 用快模型 + 流式输出,限制 60 字
- TTS 用流式接口,按句切分
- VAD 阈值 350ms,播放端支持本地打断
这套组合在我们的测试中,端到端首音节能做到 900ms 左右,配合”先说一句承接语”的处理,感知体验已经不像机器。
最后
语音 AI 的难点不在模型能力,在延迟分配。每一段省 100 毫秒,加起来就是体验的质变。反过来,任何一段用了非流式接口,整体就永远进不了 800 毫秒。
如果你的语音 AI 用户说”它反应好慢”,先做一件事:在每一段打时间戳。瓶颈一定是某一处你没想到的地方。