从零搭一套AI知识库:为什么大多数团队第一步就走错了

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

企业AI知识库落地实操:为什么先搭RAG往往失败、文档预处理怎么做、检索质量如何评估、以及一套能在两周内跑通的最小可行方案。

过去一年我参与过六个企业知识库项目,其中四个在上线三个月内变成了”没人用的内部工具”。

复盘下来,失败的原因高度一致:团队第一件事是选向量数据库和框架,而不是先搞清楚文档有多脏。

这篇按真实落地顺序讲一遍,重点放在被普遍忽略的前半段。

一、第一个真相:问题不在检索,在文档

大部分团队的知识库素材是这样的:

  • 三年积累的 Word 文档,格式各不相同,有的用标题样式,有的用加粗模拟标题。
  • 扫描版 PDF,没做 OCR,直接抽取出来是空白或乱码。
  • 表格用空格对齐,抽取后列错位。
  • 同一份制度有五个版本,最新版在某个人的微信里。
  • 图片里嵌着关键信息(流程图、签批单)。

你把这些东西直接切块塞进向量库,检索质量必然稀烂,然后你会误以为是模型或检索算法不行。

正确的顺序是:先做内容治理,再做检索。

预处理清单(按优先级)

  1. 格式统一化:把 Word/PDF/PPT 统一转成 Markdown,保留标题层级。标题是分块的天然边界,比按字数硬切好得多。
  2. OCR 与表格提取:扫描件必须走 OCR;表格单独抽成结构化数据,不要混在文本里。
  3. 版本收敛:同一主题只保留一个有效版本,旧版本打标签归档。这一步要业务部门参与,没人能靠算法搞定。
  4. 元数据标注:每份文档至少标上部门、生效日期、密级、适用范围。这些是后面过滤和权限的基础。

这一步通常占整个项目 50% 的工作量。跳过它,后面全是返工。

二、分块:不要按字数切

最常见的错误是按 500 字硬切。结果是一句话被切成两半,答案永远拼不起来。

实用做法:

  • 按结构切:以标题层级为边界,一个小节一块,超长的次级再按段落切。
  • 保留上下文头:每块前面带上”文档标题 > 章节标题”,让切块脱离原文也能自解释。
  • 设重叠:相邻块重叠 10%-15%,避免跨块信息丢失。
  • 表格与列表单独成块:不要把表格和段落混在一起。

三、检索:混合检索比纯向量靠谱得多

2026 年了,纯向量检索在中文语料上的短板很明显:专有名词、产品型号、编号类查询,向量召回经常失手。

关键词检索(BM25)+ 向量检索 + 重排(rerank) 是目前最稳的组合。

  • 两条路各召回 20 条;
  • 用 RRF(倒数排名融合)合并;
  • 用 rerank 模型精排取前 5 条。

加了重排之后,Top-1 的相关性通常有一眼睛可见的提升。

另一个必做项:元数据预过滤。 用户问”今年的采购流程”,就不该检索到 2021 年的旧制度。按日期、部门、密级先过滤,再检索。

四、评估:没有评估集,一切优化都是玄学

项目最容易失控的地方是**“感觉好像不准”**,然后团队开始瞎调参数。

上线前先做 50 条真实问题的评估集。

  • 从业务人员的真实提问里收集,不要自己编。
  • 每条标注”正确答案在哪个文档的哪一段”。
  • 指标看两个:召回率(正确文档有没有被检索到)和答案正确率(生成的内容对不对)。

有了这 50 条,每次改切块策略、换模型、调参数,跑一遍就知道是不是真的变好了。

这个评估集是整个项目最有价值的资产,比代码重要。

五、回答质量:三个工程约束

1. 强制引用

让模型输出答案时必须带上来源(文档名 + 章节)。这一条既能减少幻觉,也让用户能验证。

2. 允许说”不知道”

提示词里明确写:如果检索片段不足以支撑答案,直接说”知识库中未找到相关内容”,不要推测。

不这样写,模型会用常识填满空白,这比不回答更危险。

3. 覆盖边界要明示

在界面里告诉用户”本知识库覆盖哪些文档、更新到哪一天”。用户知道边界在哪,才会信任它。

六、两周最小可行方案

阶段工作时间
第1-2天选 3 个高频场景,收集对应的 200 份文档2天
第3-5天格式转换 + OCR + 人工校对重点文档3天
第6-7天结构化切块 + 元数据标注2天
第8天搭混合检索 + 重排流水线1天
第9-10天做 50 条评估集,测基线2天
第11-13天调优(切块→检索→提示词,按评估结果迭代)3天
第14天小范围灰度,收集真实提问1天

注意:没有”全公司文档一把梭”这个阶段。 先做一个场景做深,跑通了再扩。

七、三个常见误判

误判一:以为换个更贵的模型能解决模糊问题。 检索不到的东西,再强的模型也编不出来——只会编得更像真的。

误判二:以为知识库能自动更新。 文档变了、代码变了、流程变了,索引要重建。要设计增量更新机制,否则三个月后知识库就开始”说旧话”。

误判三:忽略权限。 财务文档进了知识库,销售也能问出来,这是事故不是功能。权限要落在检索层,不能只在界面上藏。

结语

AI 知识库是个”脏活驱动”的项目。模型和框架是最简单的部分,文档治理、评估集和权限设计才是成败所在。

如果你的团队正准备启动,第一周不要碰代码——先把文档打开看一眼。

📤 分享到