Agent 上线后的第一个月:把 47% 的成功率救回来的五个动作

📅 2026/11/15 ✍️ 小文 📖 约 1 分钟

一个真实客服 Agent 的上线复盘:从 Demo 92% 到线上 47%,再用四周把成功率拉回 89%。每一步都附可复现的排查顺序与指标。

Demo 阶段,这个工单处理 Agent 的成功率是 92%。评审通过,上线,一周后真实成功率 47%。

这不是个例。我们在多个项目里看到同一类落差,幅度在 20 到 45 个百分点之间。落差本身不可怕,可怕的是团队第一反应通常是”换个更强的模型”——而这几乎从不奏效。

下面是我们把这个案例从 47% 拉回 89% 的完整过程,按时间顺序,附每一步的指标和判断依据。

第一步:先别改代码,先把失败分成四类

第一件事是捞 200 条失败会话,逐条人工标注。分类只用四类:

类别占比典型表现
上下文缺失38%Agent 不知道用户历史订单、不知道账户状态
工具调用失败27%参数错、选错工具、工具超时未重试
指令冲突21%系统提示要求”简洁”,业务要求”必须确认三次”
模型能力不足14%真的要更强的推理

38% + 27% + 21% = 86% 的失败,与模型能力无关。 这就是为什么换模型没用。

分类花了两天,这两天花得最值。后面所有动作都按这个比例排序投入。

第二步:补上下文,而不是补提示

上下文缺失的典型表现:用户说”那个还没到”,Agent 追问”请问是哪个订单”。Demo 里用户会规规矩矩提供订单号,真实用户不会。

我们做了三件事:

  1. 进入对话前预取。用手机号/会话 ID 查最近 3 个订单、最近一次工单、当前会员等级,压成 200 token 的结构化摘要注入。
  2. 压缩而非全量塞入。历史消息超过 8 轮后,用一次小模型调用做摘要,保留实体(订单号、承诺时间)和未解决的诉求,丢掉寒暄。
  3. 显式标注时效。摘要里每个实体带时间戳,因为”上周说三天内到”和”昨天说三天内到”对后续判断完全不同。

成功率从 47% 到 61%。这一步没有改任何提示词。

第三步:给工具加”失败也要能走通”的路径

工具调用失败里,最常见的是超时和参数错。改造要点:

  • 参数用枚举 + 默认值,禁止模型自己构造日期格式,统一让工具接受 today / last_7_days 这样的相对表达。
  • 超时必须重试一次,并换用幂等 key,避免重复下单。
  • 错误信息要面向模型:“order_id 不存在,请先用 search_order_by_phone 查到订单号”,而不是 {"code": 404}。
  • 给每个工具加”兜底话术”:工具连续失败两次后,Agent 必须转人工,而不是继续瞎试。

这一步后成功率到 71%,并且平均对话轮数从 6.2 降到 4.1——用户不用再被反复追问。

第四步:解决指令冲突,把规则分层

21% 的失败来自指令打架。我们的系统提示当时写了”回答简洁、不要啰嗦”,业务规范要求”退款必须复述金额并二次确认”。Agent 在两者之间反复横跳,有时直接跳过确认。

解法是把提示拆层,并明确优先级:

【不可协商规则】(优先级最高,必须逐条执行)
1. 涉及退款/补偿,必须复述金额并取得明确确认
2. 无法确认用户身份时,不得执行任何写操作
...

【风格指引】(在不违反上述规则的前提下)
尽量简洁,一次只问一个问题

关键在显式声明优先级。模型不会自己推导”哪个要求更重要”,你必须写出来。

另外删掉了 40% 的冗余指令。原提示 3800 token,压缩到 1600,冲突点自然减少,也更稳定。

这一步后 83%。

第五步:建立上线后的持续评测

最后 6 个百分点来自一个持续跑的金丝雀集:

  • 从生产流量里每天抽样 50 条真实会话,人工标注后加入评测集;
  • 每次改提示、改模型、改工具,先跑这个集合(当时 600 条),成功率和轮数的变化必须可见;
  • 设一条红线:成功率掉超过 3 个点,自动回滚。

这一步的意义不是提升指标,而是让指标不再随机波动。在此之前,任何改动的好坏都是靠猜的。

复盘:三个反直觉的结论

1. Demo 的成功率不具参考价值。 Demo 的用户是被挑选过的,上下文是完整的,失败是会被忽略的。上线后这三条全部反转。

2. 失败分类是最高杠杆的动作。 它把”提高成功率”这个模糊目标,变成了几个具体的工程任务,而且给出了优先级。

3. 成功率到 85% 之后,剩下的投入该转向”失败时的体验”。 从 85% 到 95% 的成本,可能是前面所有工作的总和;把这部分预算花在”失败时优雅转人工”,用户满意度提升更快。

如果你的 Agent 正卡在 50% 上下,别急着换模型。先捞 200 条失败看看——大概率你也会发现,八成的问题和模型无关。

📤 分享到