100万Token上下文免费之后,你可能要为「缓存失效」付更多钱

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

长上下文解锁了整库推理,但计费模型暗藏陷阱。本文拆解前缀缓存、上下文压缩、工具输出膨胀三种隐性成本,给出长上下文场景下的省钱工程方案。

一个看着便宜、结账很贵的例子

某团队做代码库问答,把整个仓库(约 40 万 Token)放进上下文,每次提问都全量带上。他们的算法很简单:模型单价下降了、长了上下文不额外收费,所以”成本应该可控”。

上线一周,账单比预估高了 4 倍。原因有三层,每一层在单价表上都看不见:

  1. 缓存没命中:仓库每天有提交,每次提交导致前缀变化,缓存全线失效。缓存命中时输入价可以是原价的 10%,不命中就是全价。
  2. 工具输出膨胀:Agent 调用检索工具返回的原始文件内容,每次几万 Token,全部进入历史。
  3. 压缩带来的二次成本:历史太长时触发了自动摘要,摘要本身又是一次全量调用。

这是 2026 年最典型的一类成本事故:单价降了,账单涨了。原因在于,长上下文的价格结构里,真正决定成本的不是单价,而是缓存命中率和上下文增长速度。

陷阱一:缓存是「前缀精确匹配」,不是「内容相似」

上下文缓存的机制是:如果本次请求的 prompt 前 N 个 Token 与上次完全一致,则这部分按缓存价计费(通常为原价的 10%–25%)。听起来很美,但三个细节决定了它的实际效果:

  • 必须字节一致。哪怕你在前缀中间插入一个时间戳、一个随机 ID、一个动态排序的列表,后面的全部失效。
  • 有存活时间(TTL)。常见的 TTL 是 5–60 分钟,超过就重新计费。
  • 必须是最长公共前缀。差异点之后的所有内容都按全价算。

所以一个常见的致命写法是:

prompt = f"当前时间:{now}\n下面是代码库:\n{repo_dump}"

一行 当前时间 让整段缓存归零。正确写法是把所有可变内容放在 prompt 末尾:

prompt = f"{repo_dump}\n\n---\n当前时间:{now}\n用户问题:{question}"

这个改动通常能把缓存命中率从 0 提到 70%+,成本直接砍掉一半以上。

陷阱二:稳定前缀设计需要「内容排序也稳定」

光把可变内容挪到末尾不够。如果你的代码库 dump 是遍历文件系统生成的,文件顺序可能每次不同,缓存照样失效。

三条实操规则:

  1. 按路径字典序排序,不要按修改时间或文件大小。
  2. 每个文件的格式固定:### {path}\n{content},不要因为文件大小不同而改变格式。
  3. 增量更新时只追加不改写:如果新增文件,追加在末尾(这会破坏前缀匹配吗?不会——只要前面的内容不变,前缀依然命中到新增点之前)。但要接受”追加之后的新内容全价”这个现实。

更好的做法是分层:

层内容变化频率位置
L1system prompt + 工具定义 + 规范几乎不变最前
L2静态知识库/代码库快照每天/每周中间
L3会话历史每轮增长后部
L4当前问题 + 临时检索结果每次不同最后

这样 L1+L2 能稳定命中,L3+L4 全价但体量小。这是长上下文应用成本控制的核心结构,比任何单价谈判都有效。

陷阱三:工具输出是最大的隐形开销

Agent 场景下,成本大头往往不是对话,而是工具返回。

一次文件读取返回 8000 Token,一次网页抓取返回 30000 Token 原始 HTML,一次数据库查询返回 200 行结果。这些都会永久留在历史里,而且每一轮都被重新计费(除非命中缓存,但工具结果在历史中位置靠后,往往不命中)。

三个有效的控制手段:

手段一:工具层先裁剪。 别把原始 HTML 给模型,先抽正文;别把整张表给模型,先按问题筛列。工具设计的一个硬规则是:返回值按”模型需要多少”设计,而不是”系统有什么”。

手段二:工具结果外置。 大结果存到外部(文件/变量),只在上下文里放摘要 + 引用 ID。模型需要细节时再按 ID 取。这能把单次工具开销从 3 万 Token 压到 300 Token。

手段三:定期清理已消费的工具结果。 任务完成后的中间结果,可以在下一轮替换成一句话摘要(“已读取 config.yaml,关键配置为 A/B/C”)。注意这会破坏缓存前缀——所以要权衡:清理省下的 Token vs 缓存失效的损失。经验上,如果清理能减少 30% 以上的上下文,通常划算。

陷阱四:上下文压缩的二次成本

长会话必然触发压缩(summarize 历史)。压缩本身是一次全量调用,成本可能等于一次正常请求的 2–3 倍,而且压缩后的历史会破坏缓存前缀。

优化思路:

  • 按需压缩,而不是定时压缩:只在接近上下文上限时触发,不要每 10 轮压一次。
  • 压缩用便宜模型:摘要任务不需要最强模型,用快模型能省 80%。
  • 保留原文而不是丢弃:把被压缩的原文存到外部,需要时可按 ID 回溯,避免”压缩后忘了关键细节”导致重做。

一张成本结构对照表

假设一个代码库问答产品,日 5000 次请求,上下文平均 20 万 Token:

方案缓存命中率日均相对成本
全量上下文,无前缀设计5%1.00
全量上下文,可变内容后置60%0.42
分层前缀 + 稳定排序78%0.30
分层前缀 + 工具结果外置82%0.18
检索 + 分层(仅必要时全量)85%0.09

最后一行说明了一件事:长上下文的最优用法是”少用长上下文”。把 90% 的请求交给检索 + 中等上下文处理,只让 10% 真正复杂的问题走全量,是当前的性价比最优解。

监控什么

四个指标,缺一不可:

指标健康值意义
缓存命中率(按 Token 加权)> 65%前缀设计是否有效
平均上下文长度稳定或下降是否有膨胀
工具输出占上下文比< 40%工具是否过度返回
单次成功任务成本逐月下降综合效率

其中工具输出占比是最容易被忽视、也最容易优化的一个。很多团队把它做到 70% 以上而不自知。

结语

长上下文是一场真实的成本结构变化,但它的方向不是”一切都变便宜”,而是”成本从单价转移到了工程”。单价在降,缓存命中率、前缀设计、工具返回值设计这些工程细节,反而成了决定账单的主要因素。

一句可操作的总结:把所有不变化的内容放在最前面,把所有工具返回值做小,把所有可变内容放在最后。 这三件事做完,长上下文的成本可以从”不可承受”回到”可控”。

📤 分享到