AI 客服幻觉的代价：三种业务损失与一套可控的兜底设计

客服是 AI 落地最快的场景，也是幻觉代价最直接的场景。

写作场景说错一句，用户笑笑就过了。客服场景说错一句，可能是”您这个可以退款”——然后用户截图找客服主管。

2026 年，讨论”客服 AI 准不准”已经没意义，该讨论的是错了之后损失有多大、能不能兜住。

一、三种业务损失

损失一：承诺型损失

AI 承诺了本不该承诺的事：退款、赔付、免运费、延期保价。

特点：一句话就构成对外承诺，且用户有截图证据。单个案例金额不大，但频次高，且会形成”网上说这家能退款”的口碑扩散。

损失二：政策误导

AI 把政策说反了：退货期限、保修范围、会员权益、优惠叠加规则。

特点：影响面广，一条错误回答会被多用户引用。也可能是反向的——把宽松政策说严格，导致用户流失但没人投诉。

损失三：合规风险

涉及个人信息、金融产品、医疗建议、价格歧视表述。

特点：单次即可能构成违规，即使只是一句”根据您的病史，建议……”。

这三种损失的处理逻辑完全不同。 承诺型靠拦截，政策型靠数据源治理，合规型靠硬性禁止。

二、按风险分档的兜底设计

不是所有回答都需要同样强度的保护。分三档：

低风险：直接回答

物流查询、订单状态、产品参数、营业时间。

做法：接结构化数据源，答案由系统拼装而非模型生成。能用查的，就不要让模型说。

中风险：生成 + 校验

流程说明、售后步骤、常见故障排查。

做法：

1. 从知识库检索答案
2. 模型改写为符合品牌语气的话
3. 关键信息回校：改写后的文本中，所有的数字、时限、金额必须能在检索原文中找到，否则降级为原文输出

第 3 步能挡住大部分”政策说反”的情况，因为改写时数字被替换是最常见的错误。

高风险：禁止生成，只能转人工

退款、赔付、价格谈判、账号安全、法律与医疗相关。

做法：命中高风险意图识别 → 立即输出固定话术 → 转人工。

关键是意图识别要偏保守。 误判为高风险只是多转几个人工，误判为低风险则可能形成承诺。

三、承诺类回复的识别与拦截

这是投入产出比最高的一个动作。具体做法：

方法一：关键词硬拦截

维护一份承诺词表：可以退、全额、包赔、免费换、一定、保证、最晚、我们承担。

生成后做正则检查，命中直接拦截，改为转人工。

粗暴但有效。 很多团队觉得这不够智能，但它的漏检率远低于看起来更聪明的方案。

方法二：结构化输出约束

让模型以结构化格式输出，其中加一个字段：

{
  "answer": "...",
  "contains_commitment": true/false,
  "commitment_detail": "...",
  "confidence": "high/medium/low"
}

contains_commitment = true 或 confidence != high 时走人工。

让模型自己标注风险，比外部检测更准确，因为它在生成时就知道自己有没有在承诺。

方法三：双模型交叉验证

高风险场景，用第二个模型审查第一个模型的回答：“这个回答是否构成对用户的承诺或政策偏离？”

成本翻倍，但只在关键路径上使用。

四、知识库治理：政策型幻觉的根

政策说错的根本原因，往往不是模型，是知识库：

• 同一政策有三个版本同时存在
• 政策更新了但知识库没更新
• 政策以图片/PDF 形式存在，检索不到
• 政策条款分散在多个文档，模型只检索到片段

三条治理规则：

1. 单一事实来源：每个政策只在一个地方定义，其他地方引用
2. 生效期管理：每条政策带生效起止时间，检索时按当前时间过滤
3. 冲突检测：定期跑一次全库扫描，发现同一主题下的矛盾表述

第 3 条能发现很多”历史遗留”，比如两年前的活动规则还留在库里，和现在的规则冲突。

五、必须禁止的表述清单

写进系统提示的硬约束，不要指望模型自己判断：

• 不承诺具体金额的赔偿
• 不承诺具体时间（“明天一定到”）
• 不评价竞品
• 不对用户健康状况、财务状况给建议
• 不透露其他用户信息
• 不在不确定时使用肯定语气

最后一条要展开写：告诉模型”不确定时使用’我帮您确认一下’而不是’是的，可以’“。这句话应该出现在每一次人工抽检的正确范例里。

六、可观测性：你不可能管住你看不见的东西

上线后必须有的四个指标：

指标	用途
转人工率（按意图分）	异常升高说明某类问题 AI 答不了或不敢答
高风险意图命中数	监控风险敞口
用户追问率（同一会话内重复问）	高说明第一次回答没解决问题
负面反馈率 + 抽样人工复核	发现系统性错误

用户追问率是最被低估的指标。 用户问了三遍同样的问题，说明 AI 给的答案是错的或者答非所问，但用户没投诉——这类沉默的失败量级远大于投诉。

七、结语

客服 AI 的目标不是”答得多”，而是**“答对的多，答错的少，错的能被兜住”**。

三个设计原则：

1. 能用查询解决的，不让模型生成
2. 能做承诺的，一律转人工
3. 能让模型标注自己风险的，不让它自由发挥

做到这三点，客服 AI 就能从”需要人盯着”变成”可以放心跑”。