🏷️ 性能优化

共 6 个相关内容

📝 文章

提示缓存怎么省下70%成本:架构、陷阱与选型

提示缓存是2026年最被低估的降本手段。讲清KV缓存复用的原理、命中条件、常见失效原因,以及与RAG、路由的组合策略。

2026/9/28

MCP Server性能优化实战:从3秒到300毫秒的五个动作

拆解MCP工具调用延迟的真实来源,给出连接复用、响应裁剪、并发控制、缓存与超时分级的具体实现,含可复用的配置示例。

2026/4/26

语音 Agent 的延迟预算:为什么你的 AI 客服听起来像在走神

语音 Agent 体验不佳,往往不是语音质量差,而是延迟分配失衡。本文拆解 ASR、LLM、TTS 三段的延迟预算表,给出可感知阈值与工程优化手段,附一份可直接套用的调优顺序。

2026/4/26

AI 语音延迟的 800 毫秒生死线:一次实时对话的时延拆解

语音 AI 的体验临界点约在 800 毫秒,超过就会被感觉「它是不是没听见」。本文把一次完整轮次拆成 VAD、ASR、LLM、TTS 四段,给出每段的可压缩空间和打断处理的实现要点。

2026/4/26

模型明明很快,你的应用却很慢:拆解大模型出字速度的三种瓶颈

把「模型首字延迟」和「端到端等待时间」混为一谈,是AI应用性能优化的第一大坑。本文拆开预填充、解码、网络与排队三段耗时,给出每段的实测方法和优先修哪一段。

2026/4/26

语音 Agent 延迟实录:把 3.2 秒压到 900 毫秒,我们动了哪五处

语音 Agent 的用户体验几乎完全由端到端延迟决定。拆解一次真实的延迟优化过程:ASR、LLM 首 token、TTS 首包、网络与打断处理,每一段分别花了多少、怎么砍的。

2026/4/26