RAG还是微调?先回答这五个问题,答案自然就出来了
这个问题被问了两年,标准回答一直是「看情况」。本文把「情况」拆成五个可判断的问题,给出决策树、混合方案和各自的翻车案例。
为什么标准答案没用
“我该用 RAG 还是微调?“这个问题的标准回答是:“看你的需求。”
这句话正确但无用。真正需要的是一个可操作的分诊流程——把”需求”翻译成几个能被明确回答的问题。
下面五个问题,按顺序回答。问题一到四决定了”必须用什么”,问题五决定了”能不能省”。
问题一:你要解决的是”知识”问题还是”行为”问题?
这是最根本的分界线,也是最常被搞混的地方。
- 知识问题:模型不知道某个事实。比如”我们公司的报销标准是多少""这个产品的第七代规格是什么”。
- 行为问题:模型知道该怎么做,但做得不够好。比如”输出必须是严格的 JSON""必须用我们的话术风格""必须按固定四步思考”。
判断方法:把正确答案直接告诉模型,它能做对吗?
- 能 → 是知识问题 → RAG
- 还是不行 → 是行为问题 → 微调(或提示词工程)
这个测试极其有效,因为它模拟了 RAG 的理想状态。如果连”把答案喂给它”都做不对,检索再多也没用。
问题二:知识更新频率如何?
这个直接决定 RAG 是否可行。
| 更新频率 | 合适方案 |
|---|---|
| 每天/实时(价格、库存、新闻) | RAG(微调完全无法跟上) |
| 每周/每月(政策、产品) | RAG |
| 每季度(流程、规范) | RAG 或微调(看问题一) |
| 几乎不变(领域常识、语言风格) | 微调 |
关键认知:微调的知识是”融进权重”的,它的更新成本是”重新训练”,而 RAG 的更新成本是”重新索引一个文档”。 两者差着两三个数量级。
企业里最常见的错误是:用微调来做”产品手册问答”,结果手册每两个月更新一次,每次都要重训,而且模型会把新旧版本混着回答。这是微调的典型误用。
问题三:回答需要引用原文 / 可追溯吗?
如果业务要求”必须告诉我这句话出自哪份文件第几页”,答案只能是 RAG。
微调后的模型无法提供引用,因为它输出的是权重里”印象”的内容,而不是某个具体来源。任何把微调模型输出包装成”引用”的做法,都是编造。
这在几个行业里是硬性要求:
- 法律与合规(条款出处)
- 医疗(诊疗指南)
- 金融(监管文件)
- 企业内部审计
这类场景没有 RAG 之外的选项。
问题四:需要”多个知识源交叉推理”吗?
比如:“对比我们去年和今年的合同模板,找出新增的责任条款,并结合最新法规判断哪些有风险。”
这类任务的特征是需要精确的多源比对。微调模型倾向于”概括”而不是”逐条比对”,因为它的训练目标是生成流畅的回答,不是精确检索。
RAG 的检索 + 显式上下文,能让模型看到原文,从而做逐条比对。即使最终答案由模型生成,比对的基础是原文而不是记忆。
问题五:如果两个都可以,成本怎么算?
走到这里,说明是”行为问题 + 低频变化”的组合,两种方案理论上都行。这时候比较三个维度:
维度一:冷启动成本
- RAG:搭检索管线(切分、嵌入、索引、召回排序)+ 评估。约 2–4 周。
- 微调:造数据集(这步最费时)+ 训练 + 评估。约 3–8 周,其中 70% 时间花在造数据。
维度二:边际成本
- RAG:每次请求多检索一次,上下文变长。多出的 token 是持续成本。
- 微调:推理成本和小模型持平,但训练成本是周期性的(数据漂移就得重训)。
维度三:可控性与可调试性
- RAG:检索错了能看见(改了哪段文档、召回了什么)。调试路径清晰。
- 微调:效果不好很难定位是”数据不够""训练不足”还是”任务本身不适合”。调试是黑盒。
经验结论:如果两者成本相近,优先 RAG。理由只有一个:可调试性。RAG 出问题时你能归因,微调出问题时你只能猜。
最常见的答案其实是:都要
现实中最多的情况是混合:
微调负责"行为":输出格式、术语使用、话术风格、任务分解方式
RAG 负责"知识":事实、条款、数据、最新信息
一个具体例子——企业内部 IT 支持机器人:
- 微调用途:让模型学会”必须先确认用户身份 + 设备编号再回答""输出必须包含排查步骤编号""不能推荐未经批准的软件”。这些是行为规范,写进权重最稳定。
- RAG 用途:具体报错码的含义、当前在用的软件版本、历史工单的解决方案。这些每天在变。
混合的收益:微调减少了提示词长度(行为固化后不用每轮重复几百字规范),RAG 保证了知识新鲜。两者结合,比任何单一方案都稳定。
三个真实的翻车案例
案例一:用微调做政策问答。 团队花了六周造数据训练,上线效果不错。三个月后政策更新,模型开始混答新旧两版。重新训练后发现,新的训练数据里新旧政策都有,模型学会了”随机挑一个说”。教训:知识密集且高频变化的场景,微调是陷阱。
案例二:用 RAG 做格式约束。 团队想要”输出必须严格符合 15 个字段的 JSON”,尝试用 RAG 加一堆示例文档。结果模型只是”参考”了示例,仍有一半的请求格式不合法。教训:格式是行为问题,RAG 解决不了,该用结构化输出或微调。
案例三:以为微调能学到”最新产品信息”。 团队把产品手册喂进微调数据,希望模型”记住”参数。结果是模型能说出大概方向,但具体数字经常错——因为它学到的是”这类产品通常有什么参数”的语言模式,而不是精确记忆。教训:精确事实不要指望权重,用检索。
一张决策流程图
把正确答案告诉模型,它能做对吗?
├─ 不能 → 行为问题
│ ├─ 规则能用提示词写清(<500字)→ 先做提示词工程
│ ├─ 规则复杂 / 需要大量风格样例 → 微调
│ └─ 需要严格结构化 → 结构化输出 + 微调兜底
└─ 能 → 知识问题
├─ 知识高频变化 → RAG
├─ 需要引用溯源 → RAG
├─ 需要多源交叉比对 → RAG
└─ 知识几乎不变 → 微调 或 RAG(优先可调试性)
结语
“RAG 还是微调”的焦虑,多半来自把它当成一个技术选择题。它其实是一个需求澄清题:先弄清楚你缺的是知识还是行为,剩下的答案几乎是自动的。
而更重要的是:绝大多数真实场景,答案不是二选一,而是明确分工——把行为的交给权重,把知识的交给检索。分清楚了,系统就稳了。