Agent 也需要"错误预算":像运维 SLO 一样管理 AI 任务成功率

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

Agent 不可能 100% 成功。与其追求完美,不如给它设一个错误预算:预算内正常迭代,预算耗尽就冻结变更。本文给出定义公式、分级策略和一次真实冻结事故的复盘。

SRE 领域有个非常好用的概念叫错误预算(error budget):既然服务不可能 100% 可用,那就设定 99.9% 的 SLO,剩下的 0.1% 就是团队可以”花掉”的额度。额度没用完,可以大胆发版;额度花光了,冻结变更,专心修稳定性。

Agent 比传统服务更需要这套机制,因为它的成功率天然就有波动:模型版本漂移、检索数据变化、外部工具限流,任何一个都会让成功率上下浮动几个点。但绝大多数团队在管 Agent 时,用的还是”感觉最近不太行”这种判断。

一、先把”成功”定义清楚

错误预算的前提是有一个可测量的 SLI。Agent 的”成功”要拆成三层,缺一层都会失真:

第一层:任务完成率。 用户的目标是否达成。这是唯一真正重要的指标,但最难自动测量。常见近似做法:有明确终态的(下单成功、工单关闭、文件生成)用系统状态判断;开放式任务用”用户是否在 X 分钟内追加纠正”来近似。

第二层:步骤正确率。 单步工具调用是否成功、参数是否合法。这一层容易测,但会高估体验——因为 Agent 经常能”重试成功”,用户根本不知道中间失败过。

第三层:约束遵守率。 是否越权、是否泄露、是否触发安全策略。这一层必须是接近 100% 的硬指标,不能进预算池。

关键经验:错误预算只针对第一层和部分第二层,第三层永远不进预算。 安全类事故没有”可以接受的比例”。

二、预算的算法

以一个智能客服 Agent 为例,每天处理 2 万次会话:

  • SLO:任务完成率 ≥ 96%
  • 评估周期:滚动 28 天
  • 期望失败次数上限 = 2万 × 28 × 4% ≈ 22400 次
  • 错误预算 = 22400 次失败

然后按天累减。假设某天失败 1500 次(预期 800 次),当天超支 700 次,预算余额减少 700。

这条曲线最大的价值是它把”偶发事故”和”慢性劣化”区分开了。一次大故障会一次性消耗 20% 预算,你知道要收敛;而每天多失败 10%,两周就把预算烧光——这种慢性劣化以前几乎没人发现。

三、预算余额决定你做什么

分级策略:

预算余额变更策略团队动作
> 60%自由迭代正常发版,鼓励试新模型
30%–60%谨慎需评审,优先修复稳定性
10%–30%收紧只允许修复类变更
< 10%冻结停止所有非修复变更,全员复盘

冻结不是惩罚,是保护。它把”要不要发这个版本”从主观争论变成了一条客观规则,这恰恰是它能被团队接受的原因。

四、一次真实冻结的复盘

去年冬天,一个处理发票的三步 Agent(识别 → 校验 → 提交)成功率从 97.2% 缓慢下滑到 93.8%,用了 19 天烧光预算,触发冻结。

冻结后第一天什么都没改,只做了一件事:把失败样本按失败步骤分类。结果非常反直觉:

  • 识别步骤失败占 8%
  • 校验步骤失败占 21%
  • 提交步骤失败占 71%

而整个团队的注意力此前都在”识别准确率”上,因为那是他们唯一在监控的指标。真正的问题在提交步骤:上游某供应商改了接口,返回的错误码从 {"code": 0} 变成了 {"status": "ok"},而 Agent 的工具封装还在用旧判断,导致每次提交都进了重试循环,最终超时失败。

这个案例的教训有三条:

  1. 分层监控比总体成功率重要得多,否则你会一直在错的地方优化。
  2. 外部依赖变更是 Agent 可靠性的主要风险源,必须对工具返回结构做 schema 校验,一旦不匹配立即失败并告警,而不是让它进重试。
  3. 缓慢劣化最危险,因为没有任何单一时刻是”明显坏了”,只有曲线能发现。

五、落地时的三个坑

坑一:把重试算成成功。 如果一次任务重试了 5 次最终成功,计为成功会让 SLA 虚高。建议单独统计”重试次数分布”,把 P90 重试次数也纳入预算,超过 2 次即计为”降级成功”,按 0.5 次失败计。

坑二:样本口径随业务变化。 双十一期间流量结构变化,失败率自然上升,这不该全算在工程质量上。做法是按业务类型分层计算预算,而不是混在一起算总量。

坑三:只算次数不算严重度。 一次”报错退出”和一次”给了错误答案”完全不是一回事。建议对失败事件加权:报错退出权重 1,错误答案权重 3,越权尝试权重 ∞(直接进安全事件流程)。

六、从哪开始

第一周只需要做两件事:

  1. 选定一个高频、有明确终态的 Agent 任务
  2. 定义 SLI 并连续记录 14 天基线

拿到基线后,把 SLO 设在”当前成功率向下取整 1 个百分点”的位置——不要一开始就设得很漂亮,你需要的是它能被达成,然后才有约束力。

错误预算的哲学其实很简单:它承认不完美,并把不完美量化成一种可以管理的资源。 对 Agent 这种东西,这种诚实比任何”准确率 99%“的宣传都更有用。

📤 分享到