该不该微调?一张决策表省下80%的模型预算

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

提示工程、RAG、LoRA微调、全量微调、蒸馏,五种方案的成本与效果边界,用四个判断问题决定你该走哪条路。

最贵的答案往往是最快的那个

团队拿着”模型不懂我们业务”的问题来找你,最省事的回答是”微调一个”。但在2026年,这句话隐含的成本大约是:标注1万条样本(2–6周)、GPU租赁、评测集维护、每次基座升级重训一次。如果问题的本质是”模型不知道我们的数据”,那这些钱基本白花。

四个问题,定方向

问题一:模型是”不知道”还是”做不到”? 不知道 → RAG(检索)。做不到(风格、格式、特定推理模式) → 微调。混为一谈是最常见的错误。

问题二:知识变化频率如何? 政策、价格、库存这类每周变化的内容,微调等于给自己挖坑。RAG 更新一个索引就够了。

问题三:你能凑出多少”好”样本? LoRA 的可用下限大约是300–500条高质量样本;低于这个量级,few-shot 提示词的效果通常不输微调,而且不用训练。

问题四:延迟和成本敏感度? 微调最大的隐性收益是缩短提示词。如果你靠3000 token的系统提示维持风格,换成微调后降到500 token,在高并发下这笔账非常可观。

五种方案的边界

方案典型成本适合场景主要陷阱
提示工程最低格式、角色、简单推理提示词膨胀到不可维护
RAG中事实性知识、私有文档切分不当导致答非所问
LoRA 微调中高风格固定、任务专精样本单一导致过拟合
全量微调最高领域语言差异极大灾难性遗忘、升级成本
蒸馏高(一次性)降本、上边缘设备教师模型的错误被复制

一个务实的组合策略

多数团队最终落在同一个组合上:RAG 管事实,LoRA 管风格,提示词管约束。这三件事各自边界清晰,互不干扰。真正需要全量微调的场景比想象中少得多——通常是医疗、法律这类术语体系完全独立的领域,或者需要把模型压到1B以下上设备的场景。

先做减法

微调项目最常见的时间黑洞不是训练,而是标注。开工前花两天做一件事:把已有的历史对话/工单里,人工已经确认过的”好答案”捞出来,看能不能凑够500条。凑不够,就说明你的业务还没有足够稳定到值得微调——先去做RAG,把提示词收干净,六个月后再看。

省钱的方法从来不是找更便宜的算力,而是先证明这件事不该用模型解决。

📤 分享到