语音 Agent 延迟实录:把 3.2 秒压到 900 毫秒,我们动了哪五处
语音 Agent 的用户体验几乎完全由端到端延迟决定。拆解一次真实的延迟优化过程:ASR、LLM 首 token、TTS 首包、网络与打断处理,每一段分别花了多少、怎么砍的。
语音 Agent 有个残酷的特性:内容再好,延迟超标就没人用。 人对对话停顿的容忍阈值大概在 1 秒左右,超过 1.5 秒就开始觉得「对方在走神」。
我们做了一版电话客服语音 Agent,第一版端到端延迟 3.2 秒。优化到 900 毫秒,过程记录下来。
先拆延迟预算
原始链路:用户说完 → 静音检测 → ASR → LLM → TTS → 播放。各段耗时:
| 环节 | 原始耗时 | 优化后 |
|---|---|---|
| 静音判定(VAD) | 700ms | 250ms |
| ASR 转写 | 600ms | 150ms |
| LLM 首 token | 900ms | 300ms |
| TTS 首包 | 800ms | 150ms |
| 网络与调度 | 200ms | 50ms |
注意 VAD 和 TTS 首包——这两个是「非模型」环节,但占了将近一半时间。
五处改动
一、VAD 阈值从固定改自适应。 原来固定等 700ms 静音,说话慢的用户经常被截断。改成自适应后平均 250ms 就能判定,且截断率反而下降。这是最便宜的一刀。
二、ASR 从「一次性转写」改流式。 关键不是让 ASR 更快,而是让它在用户还在说话时就开始转,说完时转写基本同步完成。收益最直观。
三、LLM 首 token 优化三件套。
- 缩短系统提示:从 1800 token 压到 600,首 token 快了一大截;
- 换更快的模型处理简单意图,复杂问题才走大模型;
- 限制输出长度,语音场景不需要长篇大论。
四、TTS 流式合成 + 分句播放。 不要等整段话合成完,第一句合成完立刻播。这一刀把「等待感」几乎消除。
五、打断处理前置。 用户插话时必须立刻停止播放并清空队列。原来清空逻辑走完整流程,会卡 300ms。改成播放层直接停。
两个反常识结论
延迟优化不是「换个更快的模型」那么简单。 我们的模型部分从 900ms+800ms 压到 300ms+150ms,但真正的收益有一半来自 VAD、流式和打断处理这些工程细节。
感知延迟和实际延迟不是一回事。 加一句「好的,我看一下…」的垫话,用户的感知延迟明显下降,即使总耗时不变。这是因为用户听见了反馈,知道系统在工作。同理,接通后立刻播一个提示音,效果也很好。
一套可复用的检查清单
- VAD 是否自适应?阈值多少?
- ASR 是否流式?中间结果是否可用?
- LLM 首 token 时间多少?系统提示多长?
- TTS 是否流式?是否分句播放?
- 打断响应多少毫秒?播放队列能否立即清空?
- 有没有垫话降低感知延迟?
最后一点
语音 Agent 的体验是秒级工程,不是模型选型问题。同样的模型,延迟可以从 3 秒做到 1 秒,也可以做到 5 秒。真正的差距在于——你有没有把整条链路当成一个系统来测、来抠。