100万Token上下文免费之后,你可能要为「缓存失效」付更多钱
长上下文解锁了整库推理,但计费模型暗藏陷阱。本文拆解前缀缓存、上下文压缩、工具输出膨胀三种隐性成本,给出长上下文场景下的省钱工程方案。
一个看着便宜、结账很贵的例子
某团队做代码库问答,把整个仓库(约 40 万 Token)放进上下文,每次提问都全量带上。他们的算法很简单:模型单价下降了、长了上下文不额外收费,所以”成本应该可控”。
上线一周,账单比预估高了 4 倍。原因有三层,每一层在单价表上都看不见:
- 缓存没命中:仓库每天有提交,每次提交导致前缀变化,缓存全线失效。缓存命中时输入价可以是原价的 10%,不命中就是全价。
- 工具输出膨胀:Agent 调用检索工具返回的原始文件内容,每次几万 Token,全部进入历史。
- 压缩带来的二次成本:历史太长时触发了自动摘要,摘要本身又是一次全量调用。
这是 2026 年最典型的一类成本事故:单价降了,账单涨了。原因在于,长上下文的价格结构里,真正决定成本的不是单价,而是缓存命中率和上下文增长速度。
陷阱一:缓存是「前缀精确匹配」,不是「内容相似」
上下文缓存的机制是:如果本次请求的 prompt 前 N 个 Token 与上次完全一致,则这部分按缓存价计费(通常为原价的 10%–25%)。听起来很美,但三个细节决定了它的实际效果:
- 必须字节一致。哪怕你在前缀中间插入一个时间戳、一个随机 ID、一个动态排序的列表,后面的全部失效。
- 有存活时间(TTL)。常见的 TTL 是 5–60 分钟,超过就重新计费。
- 必须是最长公共前缀。差异点之后的所有内容都按全价算。
所以一个常见的致命写法是:
prompt = f"当前时间:{now}\n下面是代码库:\n{repo_dump}"
一行 当前时间 让整段缓存归零。正确写法是把所有可变内容放在 prompt 末尾:
prompt = f"{repo_dump}\n\n---\n当前时间:{now}\n用户问题:{question}"
这个改动通常能把缓存命中率从 0 提到 70%+,成本直接砍掉一半以上。
陷阱二:稳定前缀设计需要「内容排序也稳定」
光把可变内容挪到末尾不够。如果你的代码库 dump 是遍历文件系统生成的,文件顺序可能每次不同,缓存照样失效。
三条实操规则:
- 按路径字典序排序,不要按修改时间或文件大小。
- 每个文件的格式固定:
### {path}\n{content},不要因为文件大小不同而改变格式。 - 增量更新时只追加不改写:如果新增文件,追加在末尾(这会破坏前缀匹配吗?不会——只要前面的内容不变,前缀依然命中到新增点之前)。但要接受”追加之后的新内容全价”这个现实。
更好的做法是分层:
| 层 | 内容 | 变化频率 | 位置 |
|---|---|---|---|
| L1 | system prompt + 工具定义 + 规范 | 几乎不变 | 最前 |
| L2 | 静态知识库/代码库快照 | 每天/每周 | 中间 |
| L3 | 会话历史 | 每轮增长 | 后部 |
| L4 | 当前问题 + 临时检索结果 | 每次不同 | 最后 |
这样 L1+L2 能稳定命中,L3+L4 全价但体量小。这是长上下文应用成本控制的核心结构,比任何单价谈判都有效。
陷阱三:工具输出是最大的隐形开销
Agent 场景下,成本大头往往不是对话,而是工具返回。
一次文件读取返回 8000 Token,一次网页抓取返回 30000 Token 原始 HTML,一次数据库查询返回 200 行结果。这些都会永久留在历史里,而且每一轮都被重新计费(除非命中缓存,但工具结果在历史中位置靠后,往往不命中)。
三个有效的控制手段:
手段一:工具层先裁剪。 别把原始 HTML 给模型,先抽正文;别把整张表给模型,先按问题筛列。工具设计的一个硬规则是:返回值按”模型需要多少”设计,而不是”系统有什么”。
手段二:工具结果外置。 大结果存到外部(文件/变量),只在上下文里放摘要 + 引用 ID。模型需要细节时再按 ID 取。这能把单次工具开销从 3 万 Token 压到 300 Token。
手段三:定期清理已消费的工具结果。 任务完成后的中间结果,可以在下一轮替换成一句话摘要(“已读取 config.yaml,关键配置为 A/B/C”)。注意这会破坏缓存前缀——所以要权衡:清理省下的 Token vs 缓存失效的损失。经验上,如果清理能减少 30% 以上的上下文,通常划算。
陷阱四:上下文压缩的二次成本
长会话必然触发压缩(summarize 历史)。压缩本身是一次全量调用,成本可能等于一次正常请求的 2–3 倍,而且压缩后的历史会破坏缓存前缀。
优化思路:
- 按需压缩,而不是定时压缩:只在接近上下文上限时触发,不要每 10 轮压一次。
- 压缩用便宜模型:摘要任务不需要最强模型,用快模型能省 80%。
- 保留原文而不是丢弃:把被压缩的原文存到外部,需要时可按 ID 回溯,避免”压缩后忘了关键细节”导致重做。
一张成本结构对照表
假设一个代码库问答产品,日 5000 次请求,上下文平均 20 万 Token:
| 方案 | 缓存命中率 | 日均相对成本 |
|---|---|---|
| 全量上下文,无前缀设计 | 5% | 1.00 |
| 全量上下文,可变内容后置 | 60% | 0.42 |
| 分层前缀 + 稳定排序 | 78% | 0.30 |
| 分层前缀 + 工具结果外置 | 82% | 0.18 |
| 检索 + 分层(仅必要时全量) | 85% | 0.09 |
最后一行说明了一件事:长上下文的最优用法是”少用长上下文”。把 90% 的请求交给检索 + 中等上下文处理,只让 10% 真正复杂的问题走全量,是当前的性价比最优解。
监控什么
四个指标,缺一不可:
| 指标 | 健康值 | 意义 |
|---|---|---|
| 缓存命中率(按 Token 加权) | > 65% | 前缀设计是否有效 |
| 平均上下文长度 | 稳定或下降 | 是否有膨胀 |
| 工具输出占上下文比 | < 40% | 工具是否过度返回 |
| 单次成功任务成本 | 逐月下降 | 综合效率 |
其中工具输出占比是最容易被忽视、也最容易优化的一个。很多团队把它做到 70% 以上而不自知。
结语
长上下文是一场真实的成本结构变化,但它的方向不是”一切都变便宜”,而是”成本从单价转移到了工程”。单价在降,缓存命中率、前缀设计、工具返回值设计这些工程细节,反而成了决定账单的主要因素。
一句可操作的总结:把所有不变化的内容放在最前面,把所有工具返回值做小,把所有可变内容放在最后。 这三件事做完,长上下文的成本可以从”不可承受”回到”可控”。