PDF 解析是 RAG 最大的暗礁:五种版式的处理方案与踩坑记录

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

从双栏论文到扫描表格,五种常见 PDF 版式分别怎么解析。给出解析链路的选型建议、表格与公式的还原技巧,以及一套解析质量自检方法。

做过 RAG 的人都有同一个经验:模型不是最大问题,PDF 才是。

一份 200 页的年度报告,用普通解析器转出来可能是一堆错乱的段落、断成两半的表格、丢掉的行内公式。后面接再强的模型,也只能在垃圾上做检索。

五种版式,五种打法

一、纯文本流式(合同、说明书)

最常见也最简单。关键不是解析,是分段逻辑:按标题层级切、按条款编号切,比按字符数切强得多。遇到「第 3.2 条」这类编号一定要识别为边界。

二、双栏学术论文

普通解析器最大的问题是把左右栏串成一行,读起来天书一样。解决方案是检测栏线或按文本块 x 坐标聚类,先分栏再读。这是论文类解析的必做步骤。

三、扫描件(图片版 PDF)

必须走 OCR。要点:先做图像预处理(去倾斜、去噪、二值化),OCR 质量能提升一个档。中文扫描件建议直接用专门的识别模型,不要用通用多模态模型硬啃——成本高且不稳定。

四、含复杂表格(财报、研报)

这是最难的一类。纯 OCR 会把表格拍平成文本,行列关系全丢。可行路径:

  • 用专门的表格识别模型输出 HTML/Markdown 表格;
  • 或先用版面分析模型定位表格区域,再单独处理;
  • 解析后做一次「列数一致性」校验,列数突变的表格大概率解析失败。

五、图文混排(产品手册、教材)

图片本身的信息不能丢。建议:提取图片 → 用多模态模型生成图片描述 → 把描述作为该位置的一段文本插入。检索时这张图的语义就能被命中。

解析链路建议

一个务实的分层策略:

  1. 先做类型判断:是否扫描件?是否多栏?有无表格?
  2. 按类型路由:不同类型走不同解析器,别指望一个工具打天下;
  3. 统一输出结构:都转成带标题层级和页码的 Markdown,方便后续切分和溯源;
  4. 保留位置元数据:页码、bbox、章节路径——后面做引用和定位全靠这个。

解析质量怎么自检

解析完不要直接入库,跑三个检查:

  • 字符数异常检测:某页解析出来只有 20 个字,大概率失败;
  • 表格列数校验:同一表格内列数突变,说明行列错位;
  • 抽样人眼复核:随机抽 10 页,看标题、段落、表格是否正常。这一项最土,但最有效。

一个容易忽略的点

解析器的选择应该由文档决定,而不是由团队习惯决定。 见过不少团队全流程只用一种解析器,结果论文类文档召回率一直上不去,折腾了半年模型才发现是分栏串行的问题。

另外提醒:解析器的升级往往会改变切分结果,已入库的文档不会自动重解析。建议把解析版本号写进元数据,方便后续做定向重刷。

PDF 解析不性感,但它决定了 RAG 效果的天花板。花两天把解析做好,比花两个月调提示词更有用。

📤 分享到