语音Agent延迟预算表:把2秒的“嗯…让我想想”砍到400毫秒
拆解实时语音Agent从拾音到出声的六段延迟,给出2026年可落地的毫秒预算、常见超支点和三种替换方案,附实测数据。
用户不会抱怨延迟,他们直接挂断
做电话客服Agent的团队都会经历同一条曲线:技术指标从P50延迟2.1秒优化到0.9秒,用户通话时长突然涨了40%。语音交互里,延迟不是体验问题,是留存问题。人类对话的换话轮间隙通常在200–500毫秒,超过1秒,对话就会退化成”对讲机模式”——双方都在等对方说完,而实际上谁都没说话。
下面是我们在一个真实外呼场景里跑出来的延迟预算表。
六段延迟,逐段算账
| 阶段 | 典型耗时 | 可压缩到 | 主要手段 |
|---|---|---|---|
| 拾音+降噪+分批 | 120ms | 60ms | 20ms 帧长,Opus 直传 |
| 语音识别(ASR) | 480ms | 150ms | 流式识别 + 端点检测前移 |
| 语义/意图判定 | 90ms | 30ms | 小模型路由,别用大模型 |
| LLM 首字 | 620ms | 180ms | 流式输出 + 短系统提示 |
| 语音合成(TTS)首包 | 400ms | 120ms | 流式TTS,切句合成 |
| 网络/播放缓冲 | 180ms | 60ms | 就近节点,WebRTC |
加起来是1.89秒对0.6秒。差距不在于换更好的模型,而在于每一段都用了”批处理思维”。
超支最多的三个地方
第一,端点检测(VAD)等太久。 很多实现用1.2秒静音判定”说完了”,这一项就等于把预算花掉了1/5。做法是引入语义端点:ASR 输出出现完整句法结构且置信度高时立即切断,静音阈值只需兜底400ms。
第二,等完整LLM回答。 如果你的TTS要整段文本才出声,那LLM生成长度直接乘进延迟。必须做按标点切句的流水线:LLM 吐出第一个逗号或句号就送TTS,后续句子并行合成。这段优化收益最大,通常能砍掉400–600毫秒。
第三,TTS首包时间被忽略。 选型时只看音质不看TTFB。2026年主流的流式TTS首包已经能做到80–150毫秒,但需要开流式接口、用短句喂入,而不是传整段。
一个反直觉的取舍
很多团队想用更大的模型换更好的对话质量,结果延迟爆表。更划算的解法是**“填充语生成器”**:在思考阶段先输出”这个我帮您查一下”这类固定短句(预合成音频,0延迟播放),同时并行跑真正的LLM。它不改变总时长,但把”沉默”变成了”正在处理”,用户主观延迟感受能降一半以上。
延迟预算是设计文档,不是上线后调参的副产品。把这张表写进需求评审,比什么模型升级都管用。