PDF 解析是 RAG 最大的暗礁:五种版式的处理方案与踩坑记录
从双栏论文到扫描表格,五种常见 PDF 版式分别怎么解析。给出解析链路的选型建议、表格与公式的还原技巧,以及一套解析质量自检方法。
做过 RAG 的人都有同一个经验:模型不是最大问题,PDF 才是。
一份 200 页的年度报告,用普通解析器转出来可能是一堆错乱的段落、断成两半的表格、丢掉的行内公式。后面接再强的模型,也只能在垃圾上做检索。
五种版式,五种打法
一、纯文本流式(合同、说明书)
最常见也最简单。关键不是解析,是分段逻辑:按标题层级切、按条款编号切,比按字符数切强得多。遇到「第 3.2 条」这类编号一定要识别为边界。
二、双栏学术论文
普通解析器最大的问题是把左右栏串成一行,读起来天书一样。解决方案是检测栏线或按文本块 x 坐标聚类,先分栏再读。这是论文类解析的必做步骤。
三、扫描件(图片版 PDF)
必须走 OCR。要点:先做图像预处理(去倾斜、去噪、二值化),OCR 质量能提升一个档。中文扫描件建议直接用专门的识别模型,不要用通用多模态模型硬啃——成本高且不稳定。
四、含复杂表格(财报、研报)
这是最难的一类。纯 OCR 会把表格拍平成文本,行列关系全丢。可行路径:
- 用专门的表格识别模型输出 HTML/Markdown 表格;
- 或先用版面分析模型定位表格区域,再单独处理;
- 解析后做一次「列数一致性」校验,列数突变的表格大概率解析失败。
五、图文混排(产品手册、教材)
图片本身的信息不能丢。建议:提取图片 → 用多模态模型生成图片描述 → 把描述作为该位置的一段文本插入。检索时这张图的语义就能被命中。
解析链路建议
一个务实的分层策略:
- 先做类型判断:是否扫描件?是否多栏?有无表格?
- 按类型路由:不同类型走不同解析器,别指望一个工具打天下;
- 统一输出结构:都转成带标题层级和页码的 Markdown,方便后续切分和溯源;
- 保留位置元数据:页码、bbox、章节路径——后面做引用和定位全靠这个。
解析质量怎么自检
解析完不要直接入库,跑三个检查:
- 字符数异常检测:某页解析出来只有 20 个字,大概率失败;
- 表格列数校验:同一表格内列数突变,说明行列错位;
- 抽样人眼复核:随机抽 10 页,看标题、段落、表格是否正常。这一项最土,但最有效。
一个容易忽略的点
解析器的选择应该由文档决定,而不是由团队习惯决定。 见过不少团队全流程只用一种解析器,结果论文类文档召回率一直上不去,折腾了半年模型才发现是分栏串行的问题。
另外提醒:解析器的升级往往会改变切分结果,已入库的文档不会自动重解析。建议把解析版本号写进元数据,方便后续做定向重刷。
PDF 解析不性感,但它决定了 RAG 效果的天花板。花两天把解析做好,比花两个月调提示词更有用。