100 万 token 的账单里,「答案」只占 12 万:一次 LLM 成本归因
同量的调用有人月花 8 千、有人花 4 万,差别不在模型而在 token 结构。本文把一次请求拆成六层成本来源,给出归因方法和三个不改效果的调整。
「调用量没怎么涨,账单涨了三倍。」2026 年这句话最常见的解释不是用户变多,而是 prompt 变厚了:多了工具定义、检索片段、几轮历史、JSON schema。要解决,先得能看见。
一、请求的六层 token
一个典型 RAG + 工具调用请求可分为:系统提示词、工具定义、检索上下文、对话历史、用户输入、模型输出。
常见比例:输出占 8%~15%,系统提示词和工具定义占 20%~35%,检索上下文占 30%~50%,历史占其余。也就是说,你为「答案」付的钱最少,大部分花在「准备让模型能答」上。这不是浪费,但其中有相当比例的冗余。
二、四类常见冗余
工具定义全量枚举:20 个工具的完整 schema 塞进每个请求,而单次任务平均只用 1.2 个。改为「先选工具再调用」的两段式,第一段只给工具名加一句话描述。
固定 top-k:不论难易都塞 8 个片段、每片 600 token。简单问题往往 2 个就够。
未压缩历史:十轮原样保留,前面几轮早已没有信息价值。
过度格式包裹:大量 JSON 标签和重复强调的「必须」「严禁」,对稳定性有帮助,但可以精简到最少必要。
三、按 feature 归因,不按请求
只按模型或接口统计,信息量太低。按功能路径打标:
{feature: "faq_bot", stage: "retrieval",
tenant: "enterprise", prompt_version: "v12"}
有了这个维度,才能回答「涨的是哪个功能、哪个阶段、哪版 prompt」。经验上,成本异常八成能定位到某一版 prompt 或某一个工具的变更。
四、三个不改效果的动作
输出格式选 token 效率高的:紧凑结构、避免重复字段名和冗余缩进,往往能省下可观输出 token。
检索做「摘要 + 原文」两段式:召回时给 200 字摘要筛选,选中的 1~2 篇再进原文。检索上下文平均长度通常能砍掉一半以上。
历史按「状态 + 最近 2 轮」压缩:把早期对话提炼成结构化状态(用户目标、已确认事实、待办),既省 token 又减少长上下文里的指令冲突。
五、两个反直觉现象
更长的上下文不一定更贵,但一定更慢、更容易出错。 长上下文导致的准确率下降,会以重试和人工兜底的方式二次计费,算成本时要算上这部分,否则会得出「加长上下文很划算」的错误结论。
缓存命中率高的路径,优化优先级应该降低。 已命中的输入单价极低,把工程精力投在这部分收益很小。该优化的是未命中部分——通常是检索结果、用户输入和尾部历史。
六、自检清单
每个请求的 token 分布是否可见?成本能否按 feature/stage/prompt 归因?工具定义是否按需加载?检索是否有分级?历史是否做状态压缩?缓存命中率是否单独监控?
六条做到四条,多数产品成本能降三分之一到一半,且不需要更换模型。
结语
LLM 成本优化从来不是「用便宜模型」,而是「减少不必要的上下文」。模型是明处的价格,上下文是暗处的价格——而暗处那份,是你自己写的。