RAG检索不准,八成是切分的问题:五种分块策略实测对比

📅 2026/11/17 ✍️ 小文 📖 约 1 分钟

同一份文档、同一个模型,只换分块方式,检索命中率能差30个点。实测固定长度、句子、标题层级、语义和父子分块五种策略的适用场景与参数。

做 RAG 的团队在检索效果不好时,第一反应通常是换嵌入模型、加 reranker、调 top-k。这些都有用,但性价比最低。

真正决定检索上限的是分块。 文档被切坏了,再好的模型也找不回来——因为答案本身就不在一个完整的块里。

下面五种策略,是我们在一份约 300 页的技术文档集上逐一实测后的结论。

一、固定长度分块:基线,别急着否定

按 token 数切,比如每 500 token 一块,相邻块重叠 50 token。

优点:实现三分钟,切得均匀,适配任何文档。

缺点:切断语义。一个表格被切成两半,一个操作步骤被切成”继续往下看”。

实测表现:完整问答命中率中等,但”需要跨段理解”的问题几乎全失败。

适用:快速验证可行性,或者文档本身是连续叙述、没有明显结构。

二、按句子/段落切分:稳定的小改进

以自然段落为单位聚合,达到目标长度就封块。

好处是不再切断句子。坏处是段落长度差异极大——有的段落 20 字,有的 800 字,导致块的大小不可控。

调参建议:设一个最小长度。太短的段落(比如单独一行”注意:“)合并到下一段,否则会产生一堆没有信息量的碎片块。

三、标题层级分块:结构化文档的最优解

用文档的标题树来切:每个三级标题下的内容作为一个块,块内保留完整的标题路径。

> 第三章 部署 > 3.2 配置数据库 > 连接池参数

把标题路径拼进块的正文。这一步收益极大——因为用户的问题往往包含主题词,但正文里不一定重复出现。

实测表现:结构化文档(产品手册、规范、制度文档)上提升最明显,跨段落问题的命中率翻倍。

适用:任何有清晰标题体系的文档。这是投入产出比最高的一招。

四、语义分块:效果好但成本高

计算相邻句子的向量相似度,在相似度骤降的地方断开——语义边界。

优点:能处理没有标题结构的散文式文档。

缺点:需要对每个句子算一次嵌入,成本高;阈值敏感,不同文档需要不同参数;结果不稳定,同样的文档换个模型切出来就不一样。

适用:长文叙述类内容(研报、访谈、稿件),且不需要频繁重新处理。

五、父子分块:检索用小块,生成用大块

这是一个结构上的巧思:

  • 索引时用小块(一段话),检索精度高
  • 命中后返回它的父块(整个小节),给模型足够的上下文

实现上,给每个小块存一个 parent_id,检索后按 id 取父块去重并入上下文。

实测表现:在”答案就在那里但需要上下文才能理解”的问题上提升最大。代价是 token 消耗增加,需要控制返回父块的个数。

六、实测结论汇总

策略结构化文档叙述类文档实现成本
固定长度中中极低
段落中中低
标题层级高不适用低
语义中高高
父子分块高高中

七、三条实操建议

1. 先看文档有没有结构。 有标题树就用标题分块,没有再用语义或父子。不要一上来就上语义分块,它是最贵的。

2. 每块必须能独立读懂。 检验方法:把这块单独拿出来给人看,他能明白这是关于什么吗?如果不能,说明上下文丢失了,要么加标题路径,要么扩大块。

3. 保留元数据。 页码、章节、来源标题跟着块走。出现”文档里有但检索不到”时,元数据是最快的排查入口。

分块不是一次调好的参数,是跟着文档类型变化的设计。文档换了一批,重新评估一次,比一直调 top-k 有用得多。

📤 分享到