RAG 好不好,别只看召回率:一份能定位问题的评测设计

📅 2026/11/15 ✍️ 小文 📖 约 1 分钟

召回率 92% 的 RAG 系统,用户满意度却很差。问题出在评测指标选错了。本文给出一套四层评测框架:检索、归因、生成、端到端,每层配可用的指标与判定方法。

有个团队给我看过他们的 RAG 面板:召回率 92%,答案准确率 88%,看起来很漂亮。但用户投诉不断,最常见的反馈是”答得不对”。

我们抽了 50 条投诉,逐条拆解答案来源,发现74% 的问题出在召回率为 92% 的那 8% 之外——检索确实命中了正确文档,但用错了段落;或者答案本身正确,但答的不是用户问的那个问题。

召回率是个必要指标,但它既不能定位问题,也不能说明用户为什么不满意。真正的 RAG 评测,得拆成四层。

第一层:检索层——别只测”命中没命中”

最常见的做法是:正确文档是否出现在 top-k 里。这个指标太宽容了,top-10 里有一条就算对,实际上模型可能读到的是第 1 条错误内容。

更有用的三个指标:

  • 命中位置(Hit Rank):正确段落排名第几。排第 1 和排第 7,最终答案质量差很多。看中位数而不是平均值。
  • 上下文冗余率:召回的内容里,真正被用在答案里的 token 占多少。低于 20% 说明在灌噪音,长上下文模型容易被噪音带偏。
  • 空结果正确率:知识库里根本没有答案的问题,系统是否会返回空。这个指标经常被彻底忽略,但幻觉的高发区就在”知识库里没有”这类问题上。

最后一条要专门构造测试集:从知识库里删掉的规章制度、问不存在的产品型号、问未来的政策。看系统会不会硬答。我们测过的系统里,空结果正确率低于 50% 的占多数。

第二层:归因层——答案引用的是不是”该引用的”

这一层几乎没人做,却最能定位问题。

做法:为每个测试问题人工标注”正确答案应该来自哪几个片段”(gold spans),然后检查模型实际引用的片段是否落在这个集合里。

会出现三种错配:

  1. 引用正确文档的错误段落——切分策略有问题。
  2. 引用相似但不同主题的文档——检索的语义相似度不等于业务相关性。
  3. 完全不引用(凭记忆编)——模型忽略上下文,或上下文太长被丢弃。

只有第二种需要改检索模型,第一种改切分,第三种改提示和上下文组织。不做归因,这三种问题全被归到”召回率”头上,然后你去调 embedding 模型,白忙一场。

第三层:生成层——用 LLM 评判,但要设计好

用 LLM 当裁判是可行的,前提是评判标准要窄。

不要问”这个答案好吗”,这种问题 7 分的模型也能给你 8 分。要拆成互斥的单项判定:

  • 忠实性:答案中每条陈述,能否在给定上下文里找到依据?(是/否/部分,逐条判定)
  • 完整性:对照 gold answer,缺失了哪些关键信息?
  • 拒答恰当性:上下文不足时,是否明确说了”不知道”而不是硬答?

每条判定都要求裁判引用原句作为证据。要求引用,能显著降低裁判的”和稀泥”倾向——这是很实用的技巧,比调温度管用。

另外,裁判模型和被测模型不要用同一个。同类模型对同族模型的错误有系统性盲区。

第四层:端到端——把用户真实意图放进测试集

前三层都用构造的测试集,第四层必须用真实问题。

做法:从生产日志里抽真实提问,特别是对话的第三轮以后的提问。因为真实用户会说”那第二个呢""这个多久能到”这类依赖上文的问题,而构造的测试集全是完整独立的问题。

我们发现,同一个系统在”独立问题”上准确率 88%,在”依赖上下文的追问”上只有 51%。用户投诉的来源就在这 37 个点的落差里。

这类问题的评测要点:

  • 测试样本必须以多轮对话形式给出,不能拆成单句;
  • 判定标准是”在对话上下文中是否合理”,而不是”单看这句话是否正确”。

一张可以照抄的评测表

层级指标目标值出问题时改什么
检索命中位置中位数≤ 3切分、embedding、rerank
检索空结果正确率≥ 85%判定阈值、拒答提示
归因引用命中率≥ 90%切分、上下文排序
生成忠实性≥ 95%提示、上下文长度
生成完整性≥ 85%上下文组织、召回数量
端到端多轮追问准确率≥ 80%会话记忆、问题改写

这套表的价值在于每个指标都对应一个具体的改动方向。当满意度下降时,你看一眼哪层掉了,就知道该改哪里,而不是笼统地”优化 RAG”。

最后一点

RAG 的效果上限,往往不在检索算法,而在知识库本身的质量。我们做过统计:文档重复、版本混杂、格式混乱的知识库,无论换什么 embedding 模型,端到端准确率都到不了 70%。

所以每次评测前,先随机抽 20 篇文档读一读。如果人都读不懂,模型也读不懂。

📤 分享到