企业做 Agent 最烧钱的不是模型:一份被低估的隐性成本清单
很多团队算 Agent 成本只看 token 单价,导致预算严重失真。本文拆解六类隐性成本——重试放大、上下文膨胀、失败返工、人工兜底、评测维护、空转调用,并给出各自的压降手段。
预算会上最常见的对话是这样的:
“我们每个月调用一百万次,按现在的单价大概三千美元,可控。”
三个月后账单是两万。团队翻遍日志,找不到哪里多花了钱——因为超支不在单价里,在调用结构里。
一、重试放大:一次失败变成四次调用
Agent 的调用不是线性的。一个五步任务,如果每步成功率为 90%,整体成功率只有 59%。为了凑到 95%,要么加重试,要么加轮次,要么两条都加。
更要命的是失败的调用按全价收费。一次超时、一次 schema 解析失败、一次工具报错,钱已经花掉,结果为零。一个 15% 失败率的系统,实际成本比标称高 18%,而且这 18% 什么都没换来。
压降手段:把重试限制在幂等步骤;失败时降级到更便宜的模型而不是原模型再试一次;对连续失败设熔断,避免一个坏工具拖垮整批任务。
二、上下文膨胀:你以为是在聊天,其实是在复印
多轮对话里,每一轮都要把历史重新送进去。第 20 轮的输入 token 可能是第 1 轮的十几倍,而新增的有效信息只有一句话。
Agent 更严重:工具返回的原始 JSON、抓取的网页 HTML、检索到的十个片段,全都躺在上下文里,每一步都重新计费一次。
粗算一笔账:一次任务 6 步,每步输入从 2K 涨到 12K,输入 token 总量是线性增长的 3.5 倍以上。如果单价没变,成本就翻了三倍多。
压降手段:工具返回先裁剪再入上下文(只取需要的字段);超过阈值的历史做结构化摘要并保留关键数字;同一会话内多个子任务复用缓存提示前缀。这些都不需要换模型,只需改组装逻辑。
三、失败返工:账单之外的成本更贵
真正的大头往往不在 API 账单上,而在人。
一份 AI 生成的报告,如果 30% 的内容需要业务同事逐条核对修改,那么节省的两小时写作时间,消耗掉的是三小时审核时间。这时 AI 是负收益——但它不会出现在成本表上,因为它被记在了”人工审核”科目里,而那个科目以前就有。
判断标准很简单:如果没有人愿意不看就用的产出,那它省下的不是时间,只是把工作从写变成了改。
压降手段:缩小任务粒度,让每段输出都能被单独验收;输出必须带出处,减少核对成本;对低置信度的部分显式标出而不是蒙混过关。
四、人工兜底:被当成免费的保险
“Agent 处理不了就转人工”,这句话在架构图上很轻,在人力排班表上很重。
如果一个行业场景的自动解决率是 60%,剩下 40% 转人工,而这 40% 往往是最复杂的那部分,人工处理单个工单的时长反而高于全人工时代。净效果可能是人少了但没少多少,还多了一套系统要维护。
压降手段:统计自动解决率和转人工工单的平均处理时长两个数,和纯人工基线对比。如果转人工部分的处理时长上升超过 30%,说明 Agent 在前置环节不仅没帮忙,还扰乱了信息结构。
五、评测与维护:一次性的项目费,持续性的运营费
上线不是终点。模型版本会更新、知识库会过时、业务规则会变化。评测集需要持续扩充,每换一次模型要全量回归,每条失败案例要归档成新用例。
这块成本被系统性低估,因为它不发生在开发期,而发生在之后的每个月。一个没有专职维护的 Agent 项目,半年后的准确率通常明显低于上线首月——不是因为模型变差,而是因为世界变了而它没变。
压降手段:把评测用例写进仓库并纳入 CI,每次模型或提示词变更自动跑;指定明确的 owner;把失败案例的收集流程自动化(比如从转人工工单里自动抽取)。
六、空转调用:没人用的功能也在花钱
定时任务、监控轮询、自动化流程,一旦上线就持续调用。一个”每天扫描竞品网站并生成报告”的流程,如果半年没人打开过那份报告,它仍然是每天都在花钱的。
定期做一次调用审计:按功能维度看调用量和使用量。你会发现一定有某些链路调用量稳定但从未被任何人打开。
七、一张实用的检查表
按季度过一遍下面六项,每项给出一句量化结论:
- 失败调用占总调用比例,以及对应的浪费金额
- 平均每步输入 token 与有效信息 token 的比值
- AI 产出的人工复核小时数 ÷ 节省的撰写小时数
- 自动解决率,以及转人工工单的平均处理时长变化
- 评测集容量与最近一次全量回归的时间
- 调用量前 20 的链路中,最近 90 天无人工使用的有哪些
六个数算完,成本结构就清楚了。多数团队的结论是:单价谈判能省的钱不到 10%,改调用结构能省 40% 以上。
省钱的顺序永远是:先砍掉没用的调用,再压缩上下文,再控制重试,最后才是换便宜模型。反过来做,就会得到一个又慢又贵又难用的系统。