缓存命中率才是 AI 应用的隐形毛利:一次把成本账算清楚
同样的模型、同样的功能,有的团队每千次调用花 8 块,有的花 60 块。差距往往不在模型选型,而在提示缓存的结构设计。本文拆解命中率的三种死法与可落地的改法。
我见过一个很典型的场景:两个团队做同一类合同摘要产品,模型都是同一个,功能几乎一样,一个每千次调用成本 8 块钱,另一个 60 块。差七倍。
后者的负责人第一反应是”是不是该换便宜模型”。但把调用日志拉出来一看,问题根本不在模型:他的缓存命中率是 3%。
一、先把账摊开:缓存到底省了什么
各家 API 的缓存计费细节不同,但结构大体一致:
- 命中缓存的输入 token,价格通常是原价的 10% 到 25%
- 未命中的输入 token,原价
- 输出 token,原价,且通常比输入贵 3 到 5 倍
假设一次调用:输入 12000 token,输出 800 token,输入单价 1 单位、输出单价 4 单位。
| 场景 | 输入成本 | 输出成本 | 合计 |
|---|---|---|---|
| 命中率 0% | 12000 | 3200 | 15200 |
| 命中率 80%(缓存部分按 20% 计) | 2400 + 1920 = 4320 | 3200 | 7520 |
| 命中率 95% | 600 + 2280 = 2880 | 3200 | 6080 |
结论很清楚:在长输入场景下,命中率从 0 拉到 80%,总成本直接砍半。而且这时候输出成本成了大头——所以下一步要优化的是输出长度,不是继续抠输入。
二、命中率低的三种死法
死法一:把变量放在最前面
缓存按前缀逐 token 匹配。如果你的 prompt 是:
用户问题:{question}
参考资料:{docs}
系统规则:你是一个严谨的合同审核助手……
那么每个问题前缀都不同,后面再长的系统规则也永远命中不了。这是最常见的低级错误,改法只有一条:把所有静态内容顶到最前面,变量全部后置。
正确顺序是:角色与硬规则 → 输出格式要求 → 固定示例 → 长参考资料 → 用户问题。
死法二:静态内容被”时间戳污染”
习惯性往系统提示里塞 当前时间:2026-04-26 14:32:07,秒级时间戳会让前缀每一秒都失效。
如果确实需要时间,把时间放到变量区,或者粗化到”日期”级别,并接受每日一次的前缀失效。
同理,还有几个隐形污染源:随机会话 ID、每次不同的工具清单顺序、JSON 序列化时 key 顺序不稳定。这些都会让”看起来一样”的前缀实际上不一致。
死法三:动态内容混在静态段里
把检索结果拼在系统提示中间,是另一个高频问题。检索内容每次都变,导致它之后的所有内容全部失效。
解决办法是把”可变且长”的内容统一放到前缀之后,并接受这部分不缓存——但要让它前面的 12000 token 规则与示例稳定命中,这已经拿到了大部分收益。
三、三个立刻能做的改法
1. 拆成”两段式提示”。 第一段是产品级共享的前缀(角色、规则、格式、示例),全租户一致;第二段是任务级变量。前缀单独做版本号,变更时才失效,日常命中率可以稳定在 90% 以上。
2. 给缓存加监控。 在日志里记录每次调用的 cached_tokens / total_input_tokens,按 prompt 版本聚合。上线一周你就会发现某几个模板命中率异常低——通常都是上面三种死法之一。
3. 把”前缀字节数”当成代码审查项。 任何改动系统提示的 PR,都要评估它会不会打穿缓存。这个成本经常被忽略:一次无意义的措辞微调,可能让全站命中率归零一天。
四、别为了缓存牺牲质量
有两个边界要说清楚:
- 不要为了命中而把示例写死到过时。缓存前缀的生命周期应该由内容正确性决定,不是由成本决定。建议给前缀设版本号,业务规则变更时强制失效。
- 不要在一个前缀里混多个任务的规则。为了共享缓存把十个任务的规则塞进同一个前缀,会导致规则互相干扰,模型行为变差——省下的钱还不够赔质量问题。
五、一个简单的判断标准
如果你还没做过这项优化,可以用这个经验值自查:
- 输入 token 中,静态部分占比低于 50% → 说明你的提示结构还有很大压缩空间
- 缓存命中率 低于 60% → 大概率存在”变量前置”或”时间戳污染”
- 输出 token 与输入 token 比值 高于 0.3 → 该检查输出格式约束了
成本优化从来不是”换个便宜模型”这么简单。在长上下文逐渐成为默认的 2026 年,提示结构的工程质量,直接决定了你的毛利。先把命中率打到 80%,再谈模型选型,顺序不能反。