Agent 让你少写了审批，也让你看不见风险：自动化的信任校准

关于自动化，团队里通常有两种人。一种很快把所有事情交给 Agent，出了事就说”AI 就是这样”；一种坚持每一步都要人工确认，结果 Agent 只起到了”更快的输入法”的作用。两种人都没做对，因为他们都在用同一个错误的问题：自动化到什么程度？

正确的问题应该是：在这一类任务上，我给它的信任，和它能达到的可靠性匹配吗？

这套东西在航空领域已经有几十年研究，叫”信任校准”（trust calibration）。它的核心结论是：过度信任与信任不足，都会降低整体绩效，而且过度信任的破坏力更大，因为它是隐性的。

三个失效模式，按危险程度排序

第一危险：过度信任导致的”橡皮图章”。 人工确认的环节还在，但人已经不再真的看了。审阅 Agent 生成的合同，平均每秒扫过 40 个字，眼睛在看，判断没有发生。这类失效最可怕的地方是它伪装成”有把关”。

第二危险：信任错配导致的”该查的没查”。 对 Agent 在简单任务上的高可靠形成了惯性，然后在它不那么可靠的复杂任务上沿用同样的信任。典型表现是不再看 Agent 引用的来源。

第三（成本最高）：信任不足导致的”空转”。 每一步都要确认，Agent 的价值被压缩成 20%，同时人的注意力被大量占用。团队于是得出结论”AI 没什么用”。

一条人机分工判断线

对一个具体任务，问四个问题。四个都是”是”，才允许全自动：

1. 失败可被察觉吗？ 输出错了，系统或流程里有没有东西能发现？如果没有自动检测，就必须有人看。
2. 失败可被撤销吗？ 错了能不能回滚？
3. 同样输入会不会产生不同输出？ 如果每次都可能有差异，说明存在不确定性，需要抽检。
4. 失败代价是否与频次相乘后仍然可接受？ 单次损失很小，但每天一千次，总损失可能很大。

举例对照：

任务	可察觉	可撤销	稳定	低代价	结论
会议纪要草稿	✅	✅	⚠️	✅	全自动，事后抽检
客户回复邮件	✅	⚠️	⚠️	⚠️	自动生成草稿，人工发
合同条款审阅	⚠️	⚠️	⚠️	❌	必人工，AI 做初筛
数据库变更	⚠️	❌	✅	❌	禁止自动，走审批
代码补全	✅	✅	⚠️	✅	全自动，靠测试兜底

这张表最有用的地方，是它让”要不要人工确认”从立场之争变成可讨论的判断。只要在表上把四列填完，分歧通常会自动缩小。

三个校准方法

一、反向校准：故意注入错误。 定期在 Agent 的输出里插入一个明显错误（虚构的引用、错误的数字），看人工审阅环节是否抓到。这个测试很残酷，因为它测的是人，不是模型。但它能直接暴露”橡皮图章”现象。实践里第一次做的时候，发现率往往只有五到六成。

二、按任务类型分账，而不是看总分。 不要只报”Agent 准确率 87%“。按任务类型拆开，你会看到 99% 和 40% 同时存在。信任应该按最差的那一档设定，而不是按平均。 很多团队把整体准确率当成信任依据，然后在少数难任务上反复出事。

三、给”不确定”一条被表达的通道。 如果 Agent 永远给出确定语气，人就永远无法校准。要求它在低置信时显式标注（“我不确定这条是否适用""这个数字需要在系统里核实”），并且人工审阅时优先看这些标注。

一个被忽略的细节：如果标注的置信度不准确，它比没有标注更糟。 上线前必须验证”置信度与准确率是否单调相关”。很多模型的自报置信度校准很差，这时候不如用外部的信号（检索分数、多次采样的一致性）来估算置信。

一个反直觉的组织结论

在做了十几个落地项目之后，我们发现一个规律：自动化程度最高的团队，往往人工把关做得最认真。 因为他们自动化的是判断过的东西，每一处自动化都有明确的”为什么可以放手”。

反过来，把 AI 当成”能少干活”的捷径的团队，自动化程度往往最低——他们每次被错误伤到，就回退一层权限，最后回到手动。

信任不是一次性授予的，是持续校准出来的。每次事故之后、每次模型升级之后、每次任务分布变化之后，那张四列的表都要重填一遍。这件事不做，风险不会消失，只是暂时没被看见。