让 AI 答对企业问题：幻觉的三个层次，和对应的一层更比一层贵的解法

「你们的 AI 会胡说八道吗？」

这是企业客户问得最多的一句话。我的标准回答是：会，但要先搞清楚是哪一种胡说。因为把三类完全不同的故障混为一谈，是绝大多数 RAG 项目反复调优却毫无进展的根本原因。

一、把幻觉拆成三层

我们做了两百多个企业问答场景，失败案例几乎都能归进这三层：

第一层：知识缺失（Knowledge Gap） 知识库里根本没有这条信息，或者有但检索没找到。模型只能靠参数记忆硬编一个答案。

第二层：上下文失焦（Context Distraction） 检索到了，但塞进上下文的是一堆无关段落。模型被干扰，答非所问。

第三层：推理错误（Reasoning Error） 资料都对，模型读错了——把「A 比 B 早」读成「B 比 A 早」，或者把两条不同的政策合并成一条不存在的规则。

三层的表现都是「答案不对」，但解法一个比一个贵。

二、诊断流程：先分诊，再开药

不要上来就换更强的模型。先花一天做个分诊测试：准备 100 道有标准答案的真实问题，对每道题记录三件事：

1. 正确文档是否被检索到（Recall@K）
2. 正确段落是否进入了最终上下文
3. 输出是否忠于上下文（人工判断）

结果会自动落进四个象限，处理方式完全不同：

检索到	上下文正确	输出正确	诊断
否	—	—	第一层：检索失败
是	否	—	第二层：排序/截断问题
是	是	否	第三层：推理问题
是	是	是	没问题

我们做过统计，企业场景中第一层占 55%，第二层占 30%，第三层只占 15%。这和你直觉上「模型不够聪明」的判断差别很大。

三、第一层：检索失败的解法

这是性价比最高的一层。常见原因按出现频率排序：

分块方式错误（最常见）。按固定 512 字切块，会把一条完整政策切成两半——前半段说「可退」，后半段说「除特价商品外」。检索时只召回前半段，模型就答错了。

解法：按语义结构切块。标题、段落、表格行是天然边界。表格尤其要注意——必须按行切或者整表切，绝不能切断。

查询与文档用词不一致。用户问「能不能退款」，文档里写的是「退货处理规则」。向量检索对语义相似度敏感，但专业术语缩写、内部代号是它最弱的环节。

解法：混合检索（BM25 + 向量），并建立领域同义词表。这一项通常能把 Recall@10 提升 15 到 25 个点。

多跳问题。用户问「去年 Q3 的毛利率比前年同期高还是低」，这需要检索两个文档并比较。单次检索搞不定。

解法：查询改写，把复杂问题拆成子问题，分别检索后聚合。

四、第二层：上下文失焦的解法

检索到了却没用上，通常是排序和上下文窗口管理的问题。

重排（Rerank）是关键。向量检索的相似度排序和「回答问题所需的排序」不是一回事。加一个交叉编码器重排模型（如 BGE-reranker），把 Top 50 重排成 Top 5，通常能显著提升精度。这是投入产出比最高的改动之一。

上下文不要塞满。很多人以为多给点资料更保险。实测相反：把 20 个段落塞进去，模型注意力分散，准确率比只给 5 个高置信度段落还低。我们的经验值是3 到 5 个段落，超出后准确率下降。

给每个段落编号并强制引用。让模型输出时必须标注「根据 [3]」，如果它找不到依据就会说不知道。这个简单的提示工程改造，能把「编造答案」的比例压低一半以上。

五、第三层：推理错误的解法

这一层最贵，但占比最小，所以优先级也最低。

拆解推理步骤。让模型先列出「需要用到的条款」，再逐条核对，最后给答案。多步推理比一步到位更准，代价是延迟。

结构化输出。如果是比较类问题，用 JSON schema 强制输出结构化结果（{"item": "...", "value": "...", "source": "..."}），能显著减少自由发挥。

换模型。只有在确认前两层都没问题、推理错误仍然超过 10% 的情况下，才考虑升级到更强的模型。

六、一个必须有的兜底

无论做多少优化，总会有答不出的。关键是让它说不知道，而不是编一个。

我们的做法是在提示里加入明确的拒答机制：如果上下文不包含回答问题所需的信息，必须回复「根据现有资料无法确定，建议联系 XX」。配合评测集，把这类拒答也做成可测的指标——「正确拒答率」和「误拒率」是一对必须同时监控的指标。只追求准确率会让模型倾向乱答，只追求拒答率会让它变成废物。

最后一点经验：先做 100 道题的评测集，再动手改任何东西。没有评测集，所有的「感觉变好了」都是幻觉。而项目的成败，往往就取决于你有没有在第一天就把这把尺子做出来。