推理成本一年降了90%，为什么你的AI账单反而涨了？

过去两年，主流模型单位 token 的价格下降了大约一个数量级。按常理，企业的 AI 账单应该同步下降。

但现实中，绝大多数公司的 AI 支出在大幅上涨，而且涨得比预算快。

这不是财务失控，这是一个经典的经济学现象。

一、Jevons 悖论：越便宜，用得越多

19 世纪经济学家 Jevons 发现：蒸汽机效率提高后，英国的煤炭消耗不降反升。因为效率提高让蒸汽机被用在了更多地方。

AI 正在重演这个过程：

• 价格下降 → 团队愿意尝试更复杂的用法
• 更复杂的用法 → 单次请求消耗的 token 暴增
• 暴增的消耗 → 账单上涨

Agent 是这个悖论的极端体现。一个传统 prompt 请求可能消耗 2k token；一个会自己调工具、重试、读文件的 Agent，单任务消耗 100k token 很常见。单位价格降了 90%，但用量涨了 50 倍。

二、账单上涨的四个真实来源

来源一：上下文雪球

多轮对话里，每一轮都要把历史全量重发。第 20 轮对话，输入 token 可能是第 1 轮的 20 倍。

优化：滚动摘要 + 只保留最近 N 轮原文。实测能减少 40%–60% 的输入消耗。

来源二：所有请求都走最大模型

一个”帮我改错别字”的请求和”帮我设计架构”的请求，成本模型完全不同，但很多系统用同一个模型处理。

优化：分层路由。先小模型判断难度，能处理就处理，处理不了再升级。分类准确率做得好，能省 60% 以上。

来源三：输出不设上限

推理型模型的思考过程也是要计费的。一个没设 max_tokens 的请求，可能生成 8000 token 而实际只需要 200 token 的结论。

优化：按任务类型设硬上限，并定期抽查上限是否被频繁触顶。

来源四：缓存完全没用起来

大量请求高度重复——公司内部问同样几个问题、同样的文档反复做总结。

优化：语义缓存。把相似度超过 0.95 的请求直接返回历史结果。在客服和知识问答场景，命中率能做到 30% 以上。

三、别只盯着单价

成本优化的正确公式是：

总成本 = 单价 × 输入token × 输出token × 请求次数

四个变量里，单价是你最没控制力的那个，因为它主要由厂商决定。你能控制的是后三个。

一个真实案例：某团队把模型从最贵的换成中档，成本降了 40%，但用户满意度下降明显，最后又换回来——因为他们没动用量侧。另一个团队保住原模型，把上下文摘要和路由加上，成本降了 65%，质量几乎无感。

结论：用量侧的优化空间，通常大于换模型。

四、一个可执行的降本路线

1. 先测量：按功能模块拆账，搞清楚钱花在哪个功能、哪个用户、哪种请求上。没有归因，谈降本都是猜。
2. 设预算熔断：每个模块有日/月上限，超了就降级或排队。
3. 上缓存：从最高频的 20 个请求模式开始。
4. 上路由：按任务复杂度分层。
5. 压上下文：摘要、裁剪、去掉重复的系统提示。
6. 最后才考虑换模型：在质量可接受的前提下，做小范围灰度对比。

前五步做完，普遍能砍掉 50%–70%。第六步再榨 10%–20%。

写在最后

AI 成本不是一个技术问题，是一个产品设计问题。

你在设计时决定了一个请求要不要带上全部历史、要不要自动重试五次、要不要每次都让模型自己思考。这些决定的成本，远大于你选了哪家模型。

明年单位价格还会继续降。如果你的架构不变，账单还会继续涨。