AI客服为什么总是答非所问?问题多半不在模型,在知识库的切分

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

企业AI客服上线后答非所问,80%的根因在文档切分和检索。本文用四个真实故障案例讲清切分策略、元数据设计和兜底话术,附可执行的调试流程。

症状:它总是答得「很像,但不对」

一个电商客服 AI 上线两周,投诉集中在三类:

  1. 用户问”退货要自己出运费吗”,回答是”退货流程:1. 进入我的订单 2. 点击申请退货……”——答的是流程,不是运费。
  2. 用户问”会员能退吗”,回答”商品支持7天无理由退货”——把商品规则套到了会员上。
  3. 用户问”我的订单 A123 到哪了”,回答”订单一般 3–5 天送达”——它没有查订单,只是在讲常识。

第一反应通常是”模型不行,换一个”。但换模型后症状几乎没变。因为根因在检索层,不在生成层。

根因一:文档切分切碎了语义

最常见的问题。技术文档通常是长文,切分的目的是让每块能被独立检索和理解。但默认的按字符数切分(如每 500 字一刀)会造成三类灾难:

灾难一:答案跨块。 “运费”的规则在 3.1 节末尾,例外情况在 3.2 节开头,被切到了两块。检索只召回一块,于是回答漏掉例外。

灾难二:块内缺少主语。 3.2 节开头被切成”(例外)生鲜类商品不适用”。脱离了”退货运费”这个上下文,这块内容在任何查询下都不会被命中,或者被误配到无关问题。

灾难三:表格被打散。 运费表按地区列示,切分后每一行都成了独立块,且丢失了表头,模型看到”华东 8 元”不知道这是运费。

解法:按结构切,不按长度切。

  • 优先按标题层级切(H2/H3),保持一节一块。
  • 超长节再按段落切,但每个块都要拼接父级标题路径作为前缀:退换货政策 > 运费说明 > 例外情况。这一条单独就能显著提升召回质量。
  • 表格整块保留,包括表头。如果表格很长,转成”每行一条 + 表头重复”的形式,而不是按字符硬切。

三条硬性检查(上线前必做):

  1. 随机抽 20 个块,单独读一遍,能看懂吗?
  2. 每个关键问题,答案是否完整落在单个块内?
  3. 表格、列表、代码块是否被完整保留?

根因二:不同业务规则混在同一索引里

第二个案例(会员能不能退)暴露的是领域混淆。知识库里同时有”商品退货政策”和”会员服务协议”,两者都有”退”字,向量检索把它们混在一起。

向量检索对”语义相近但主体不同”的内容区分能力有限。“会员退订”和”商品退货”在向量空间里的距离可能比想象的近。

解法:元数据过滤 + 显式主体标注。

每一块都带上结构化元数据:

{
  "source": "member-agreement.md",
  "domain": "membership",
  "section": "退订与退款",
  "effective_date": "2026-01-01",
  "audience": "all"
}

检索时不只做向量相似度,而是先用元数据把范围缩小:

过滤 domain = (根据问题意图识别的领域) AND effective_date <= today
再在结果内做向量检索 top-k

这里的关键是先用意图分类把 domain 定下来(一个轻量分类器或一次快模型调用即可),而不是让向量检索自己摸索。多一层过滤,误配率会大幅下降。

根因三:该查库的时候在讲常识

第三个案例(问订单到哪了却在讲常识)是最典型的边界问题:用户的问题需要实时数据,但系统只有静态知识库。

模型的行为很可预测:当检索结果里没有订单信息,但有一堆”配送时间说明”,它会诚实地用后者回答,因为那是最相关的。

解法不是改提示词,而是加”意图路由”。

在检索前加一层判断:

意图类型处理方式
知识型(政策、流程、规则)走 RAG
数据型(我的订单、我的余额)走工具调用/API
操作型(退款、改地址)走工具 + 二次确认
未知转人工

提示词里的一条硬约束也很关键:

如果检索结果不包含直接回答用户问题的信息,你必须回复
「我需要查询一下您的具体信息」并触发 [QUERY_ORDER] 工具,
禁止用通用说明代替具体查询结果。

注意这里用的是触发工具而不是”说明情况”,前者可执行,后者容易变成又一段废话。

根因四:召回没问题,但排序把对的排到第 7 位

第四个问题更隐蔽:答案确实被召回了,但排在很后面,模型倾向用前面几条。

解法:加 rerank(重排序)。

两阶段检索:

  1. 粗排:向量检索召回 top-20(便宜、快,保证召回率)
  2. 精排:用 reranker 模型打分,取 top-3 给生成模型

实测中这一步对”答案排在第 5 名之后”的案例改善非常明显。代价是增加一次模型调用,通常延迟 +100–300ms,但准确率提升往往值得。

一套可执行的调试流程

当客服 AI 答错时,按这个顺序排查,能定位 90% 的问题:

第 1 步:打印检索结果。 把模型实际看到的 top-k 片段和分数打印出来。绝大多数”模型幻觉”在这一步就真相大白——它没看到正确答案。

第 2 步:判断是召回问题还是排序问题。

  • 正确答案不在 top-20 里 → 召回问题(切分 / 嵌入模型 / 元数据过滤)
  • 正确答案在 top-20 但在 top-3 之外 → 排序问题(加 rerank)
  • 正确答案在 top-3 但答案错了 → 生成问题(提示词 / 上下文冲突)

第 3 步:检查是否有冲突内容。 如果 top-3 里同时有新旧两条规则(比如已废止的政策),模型会随机选一个。解法是在元数据里加生效日期,检索时过滤。

第 4 步:只在确认是生成问题后才改提示词。 这一条要严格执行——否则团队会一直在改提示词,而问题从没被真正定位。

兜底话术:比准确率更重要的指标

最后一点常被忽略。客服 AI 的价值不在于”答对率高”,而在于答错时的伤害小。

三条兜底规则:

  1. 低置信度时不硬答:检索最高分低于阈值,直接转人工,别让模型猜。
  2. 涉及金额、时效、承诺的答案强制加引用:告诉用户”依据 XX 政策第 X 条”,便于纠错。
  3. 不确定时明确的表达:“这个问题我不确定,帮您转接人工”永远好过一段听起来专业但错误的话。

结语

AI 客服答非所问,几乎从来不是”模型不够聪明”,而是:文档切碎了、领域混了、该查库的没查、该排序的没排。这四件事都是检索层的工程问题,和模型选型无关。

排查时永远从”模型看到了什么”开始,而不是从”模型说了什么”开始。把这一点变成团队的习惯,能省下大量换模型的冤枉钱。

📤 分享到