该不该微调?一张决策表省下80%的模型预算
提示工程、RAG、LoRA微调、全量微调、蒸馏,五种方案的成本与效果边界,用四个判断问题决定你该走哪条路。
最贵的答案往往是最快的那个
团队拿着”模型不懂我们业务”的问题来找你,最省事的回答是”微调一个”。但在2026年,这句话隐含的成本大约是:标注1万条样本(2–6周)、GPU租赁、评测集维护、每次基座升级重训一次。如果问题的本质是”模型不知道我们的数据”,那这些钱基本白花。
四个问题,定方向
问题一:模型是”不知道”还是”做不到”? 不知道 → RAG(检索)。做不到(风格、格式、特定推理模式) → 微调。混为一谈是最常见的错误。
问题二:知识变化频率如何? 政策、价格、库存这类每周变化的内容,微调等于给自己挖坑。RAG 更新一个索引就够了。
问题三:你能凑出多少”好”样本? LoRA 的可用下限大约是300–500条高质量样本;低于这个量级,few-shot 提示词的效果通常不输微调,而且不用训练。
问题四:延迟和成本敏感度? 微调最大的隐性收益是缩短提示词。如果你靠3000 token的系统提示维持风格,换成微调后降到500 token,在高并发下这笔账非常可观。
五种方案的边界
| 方案 | 典型成本 | 适合场景 | 主要陷阱 |
|---|---|---|---|
| 提示工程 | 最低 | 格式、角色、简单推理 | 提示词膨胀到不可维护 |
| RAG | 中 | 事实性知识、私有文档 | 切分不当导致答非所问 |
| LoRA 微调 | 中高 | 风格固定、任务专精 | 样本单一导致过拟合 |
| 全量微调 | 最高 | 领域语言差异极大 | 灾难性遗忘、升级成本 |
| 蒸馏 | 高(一次性) | 降本、上边缘设备 | 教师模型的错误被复制 |
一个务实的组合策略
多数团队最终落在同一个组合上:RAG 管事实,LoRA 管风格,提示词管约束。这三件事各自边界清晰,互不干扰。真正需要全量微调的场景比想象中少得多——通常是医疗、法律这类术语体系完全独立的领域,或者需要把模型压到1B以下上设备的场景。
先做减法
微调项目最常见的时间黑洞不是训练,而是标注。开工前花两天做一件事:把已有的历史对话/工单里,人工已经确认过的”好答案”捞出来,看能不能凑够500条。凑不够,就说明你的业务还没有足够稳定到值得微调——先去做RAG,把提示词收干净,六个月后再看。
省钱的方法从来不是找更便宜的算力,而是先证明这件事不该用模型解决。