语音Agent延迟预算表:把2秒的“嗯…让我想想”砍到400毫秒

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

拆解实时语音Agent从拾音到出声的六段延迟,给出2026年可落地的毫秒预算、常见超支点和三种替换方案,附实测数据。

用户不会抱怨延迟,他们直接挂断

做电话客服Agent的团队都会经历同一条曲线:技术指标从P50延迟2.1秒优化到0.9秒,用户通话时长突然涨了40%。语音交互里,延迟不是体验问题,是留存问题。人类对话的换话轮间隙通常在200–500毫秒,超过1秒,对话就会退化成”对讲机模式”——双方都在等对方说完,而实际上谁都没说话。

下面是我们在一个真实外呼场景里跑出来的延迟预算表。

六段延迟,逐段算账

阶段典型耗时可压缩到主要手段
拾音+降噪+分批120ms60ms20ms 帧长,Opus 直传
语音识别(ASR)480ms150ms流式识别 + 端点检测前移
语义/意图判定90ms30ms小模型路由,别用大模型
LLM 首字620ms180ms流式输出 + 短系统提示
语音合成(TTS)首包400ms120ms流式TTS,切句合成
网络/播放缓冲180ms60ms就近节点,WebRTC

加起来是1.89秒对0.6秒。差距不在于换更好的模型,而在于每一段都用了”批处理思维”。

超支最多的三个地方

第一,端点检测(VAD)等太久。 很多实现用1.2秒静音判定”说完了”,这一项就等于把预算花掉了1/5。做法是引入语义端点:ASR 输出出现完整句法结构且置信度高时立即切断,静音阈值只需兜底400ms。

第二,等完整LLM回答。 如果你的TTS要整段文本才出声,那LLM生成长度直接乘进延迟。必须做按标点切句的流水线:LLM 吐出第一个逗号或句号就送TTS,后续句子并行合成。这段优化收益最大,通常能砍掉400–600毫秒。

第三,TTS首包时间被忽略。 选型时只看音质不看TTFB。2026年主流的流式TTS首包已经能做到80–150毫秒,但需要开流式接口、用短句喂入,而不是传整段。

一个反直觉的取舍

很多团队想用更大的模型换更好的对话质量,结果延迟爆表。更划算的解法是**“填充语生成器”**:在思考阶段先输出”这个我帮您查一下”这类固定短句(预合成音频,0延迟播放),同时并行跑真正的LLM。它不改变总时长,但把”沉默”变成了”正在处理”,用户主观延迟感受能降一半以上。

延迟预算是设计文档,不是上线后调参的副产品。把这张表写进需求评审,比什么模型升级都管用。

📤 分享到