缓存命中率才是 AI 应用的隐形毛利:一次把成本账算清楚

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

同样的模型、同样的功能,有的团队每千次调用花 8 块,有的花 60 块。差距往往不在模型选型,而在提示缓存的结构设计。本文拆解命中率的三种死法与可落地的改法。

我见过一个很典型的场景:两个团队做同一类合同摘要产品,模型都是同一个,功能几乎一样,一个每千次调用成本 8 块钱,另一个 60 块。差七倍。

后者的负责人第一反应是”是不是该换便宜模型”。但把调用日志拉出来一看,问题根本不在模型:他的缓存命中率是 3%。

一、先把账摊开:缓存到底省了什么

各家 API 的缓存计费细节不同,但结构大体一致:

  • 命中缓存的输入 token,价格通常是原价的 10% 到 25%
  • 未命中的输入 token,原价
  • 输出 token,原价,且通常比输入贵 3 到 5 倍

假设一次调用:输入 12000 token,输出 800 token,输入单价 1 单位、输出单价 4 单位。

场景输入成本输出成本合计
命中率 0%12000320015200
命中率 80%(缓存部分按 20% 计)2400 + 1920 = 432032007520
命中率 95%600 + 2280 = 288032006080

结论很清楚:在长输入场景下,命中率从 0 拉到 80%,总成本直接砍半。而且这时候输出成本成了大头——所以下一步要优化的是输出长度,不是继续抠输入。

二、命中率低的三种死法

死法一:把变量放在最前面

缓存按前缀逐 token 匹配。如果你的 prompt 是:

用户问题:{question}
参考资料:{docs}
系统规则:你是一个严谨的合同审核助手……

那么每个问题前缀都不同,后面再长的系统规则也永远命中不了。这是最常见的低级错误,改法只有一条:把所有静态内容顶到最前面,变量全部后置。

正确顺序是:角色与硬规则 → 输出格式要求 → 固定示例 → 长参考资料 → 用户问题。

死法二:静态内容被”时间戳污染”

习惯性往系统提示里塞 当前时间:2026-04-26 14:32:07,秒级时间戳会让前缀每一秒都失效。

如果确实需要时间,把时间放到变量区,或者粗化到”日期”级别,并接受每日一次的前缀失效。

同理,还有几个隐形污染源:随机会话 ID、每次不同的工具清单顺序、JSON 序列化时 key 顺序不稳定。这些都会让”看起来一样”的前缀实际上不一致。

死法三:动态内容混在静态段里

把检索结果拼在系统提示中间,是另一个高频问题。检索内容每次都变,导致它之后的所有内容全部失效。

解决办法是把”可变且长”的内容统一放到前缀之后,并接受这部分不缓存——但要让它前面的 12000 token 规则与示例稳定命中,这已经拿到了大部分收益。

三、三个立刻能做的改法

1. 拆成”两段式提示”。 第一段是产品级共享的前缀(角色、规则、格式、示例),全租户一致;第二段是任务级变量。前缀单独做版本号,变更时才失效,日常命中率可以稳定在 90% 以上。

2. 给缓存加监控。 在日志里记录每次调用的 cached_tokens / total_input_tokens,按 prompt 版本聚合。上线一周你就会发现某几个模板命中率异常低——通常都是上面三种死法之一。

3. 把”前缀字节数”当成代码审查项。 任何改动系统提示的 PR,都要评估它会不会打穿缓存。这个成本经常被忽略:一次无意义的措辞微调,可能让全站命中率归零一天。

四、别为了缓存牺牲质量

有两个边界要说清楚:

  • 不要为了命中而把示例写死到过时。缓存前缀的生命周期应该由内容正确性决定,不是由成本决定。建议给前缀设版本号,业务规则变更时强制失效。
  • 不要在一个前缀里混多个任务的规则。为了共享缓存把十个任务的规则塞进同一个前缀,会导致规则互相干扰,模型行为变差——省下的钱还不够赔质量问题。

五、一个简单的判断标准

如果你还没做过这项优化,可以用这个经验值自查:

  • 输入 token 中,静态部分占比低于 50% → 说明你的提示结构还有很大压缩空间
  • 缓存命中率 低于 60% → 大概率存在”变量前置”或”时间戳污染”
  • 输出 token 与输入 token 比值 高于 0.3 → 该检查输出格式约束了

成本优化从来不是”换个便宜模型”这么简单。在长上下文逐渐成为默认的 2026 年,提示结构的工程质量,直接决定了你的毛利。先把命中率打到 80%,再谈模型选型,顺序不能反。

📤 分享到