把知识库从 PDF 里救出来:企业 RAG 最脏的一步

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

RAG 项目失败大多不是模型问题,而是解析。扫描件、双栏排版、跨页表格、页眉页脚会在进入向量库前就把信息搞坏。本文给出四类脏文档的具体处理方案和验收标准。

差在两个字的答案

用户问”特种设备多久年检一次”,系统答”每年一次”。正确答案是”每两年一次,且到期前 30 天报检”。

检索到的片段确实来自正确的文档页。问题出在解析阶段:这份 PDF 是双栏排版,解析器按从左到右的顺序读取,把左栏第 3 行和右栏第 3 行拼在了一起,于是”每两年一次”和另一栏的”每年一次”混成了同一段。

模型没有幻觉,是喂给它的文本本身就是错的。

脏文档的四种典型问题

企业知识库的真实构成大概是:30% 电子版 PDF/Word,25% 扫描件,20% 网页导出的 HTML,15% 表格(Excel/CSV),10% 各种奇怪格式(PPT、压缩包、聊天记录导出)。

其中四种问题最致命:

1. 版面顺序错乱。 双栏、三栏、杂志式排版,解析器按坐标或按文本框顺序读,几乎必错。表现是句子读起来通顺但逻辑跳跃。

2. 扫描件无文本层。 直接提取得到空字符串。需要 OCR,而 OCR 对手写、印章、低分辨率扫描的识别质量差异极大。

3. 跨页表格断裂。 一张表从第 5 页延续到第 6 页,解析成两段独立的文本,表头丢失。进入向量库后,第二半表格的内容全是数字没有列名,检索到了也没法用。

4. 页眉页脚污染。 每页都有的”公司名称 | 第 X 页”、“内部资料 严禁外传”会被切进每个 chunk,导致检索时大量噪声命中,还稀释了语义。

逐条处理方案

版面顺序

优先用带版面分析的解析器(能识别分栏、阅读顺序、标题层级),而不是纯文本抽取。折中方案:对双栏文档先做坐标聚类——按 x 坐标把文本块分成左右两簇,再分别按 y 排序拼接。

验收方法很土但有效:随机抽 20 页,人工读第一段,看句子是否连贯。解析质量的第一关是”读得懂”,不是”抽得到”。

扫描件

不要对整个文档库一律上 OCR。先分流:

  • 有文本层 → 直接解析(先检测:抽取字符数 / 页面面积的比值低于阈值就判为扫描件)。
  • 无文本层 → OCR,并对识别置信度低的页面打标记,进入人工复核队列。

OCR 后的内容必须保留”这是 OCR 结果”的元数据。检索时如果命中低置信度页面,回答里应提示”来源为扫描件识别,建议核对原文”。这不是免责声明,是用户体验。

跨页表格

表格单独成块,不与其他正文混切。具体做法:

  1. 表格整体提取为一个结构化对象(行列),而不是文本。
  2. 跨页表格检测:上一页末尾的表和下一页开头的表,列数相同则合并,表头沿用。
  3. 入库时把表头复制到每一行(“产品A | 价格 100 | 库存 20”),这样任意一行被检索到都自带语义。

表格是 RAG 里最容易被做坏的部分。一行脱离表头的数据,对检索系统来说几乎是无意义的数字串。

页眉页脚

用一个简单规则解决:统计每页顶部和底部 10% 区域内的重复文本,出现频率超过 60% 的直接剔除。再做一遍”页内重复行”清理。

这一步的成本极低,收益极高,几乎每个项目都该做但一半项目没做。

切分策略要跟着解析质量走

解析干净之后,切分是第二道坎。三条经验:

  • 按结构切,不按字数切。 优先用标题层级、列表边界、段落边界作为切分点,字数只作为兜底上限。
  • 给每个 chunk 加”来源路径”:文档名 + 章节标题 + 页码。这既提升检索(标题词参与匹配),也让回答可引用。
  • 保留父块:子块用于检索,命中后把父块(完整章节)喂给模型。这个”小块检索、大块生成”的组合能同时提升召回和回答完整度。

验收:一份能落地的评估集

不要用”感觉答得不错”来验收解析。建立一份 30–50 条的问题集,每条包含:问题、正确文档、正确页码、正确答案关键句。

跑一遍,统计三个指标:

指标含义及格线
召回命中率正确片段是否被检索到> 90%
答案准确率回答是否含关键句> 80%
引用正确率引用页码是否正确> 85%

达不到,先回头查解析,别急着换模型。

最后

RAG 项目里 60% 以上的时间是花在数据上的脏活。这类工作不性感,不出现在 demo 里,但它决定了 demo 能不能变成产品。

如果一份文档人读起来都费劲,不要指望模型读懂它。 先把文档救出来,再谈智能。

📤 分享到