合成数据微调实战：数据不够时怎么把小模型练出来

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

真实标注数据又贵又少？讲清用大模型生成合成数据微调小模型的完整流程、质量控制和避坑要点。

数据是微调的最大瓶颈

想让小模型在特定任务上表现好，微调几乎是必选项。但一动手就卡住：标注数据不够，人工标又贵又慢。

一个垂直领域任务，想标出几千条高质量样本，可能耗掉团队几周。这时候，合成数据就派上用场了。

用强模型（大模型）生成训练数据，再去微调小模型。这就是经典的蒸馏式合成：

大模型（强，但贵/慢）
   ↓ 生成大量标注样本
小模型（弱，但便宜/快）
   ↓ 微调后专精该任务
生产环境部署

好处：成本低、速度快、可规模化。代价：质量必须严控，否则垃圾进垃圾出。

先想清楚：

格式不清，生成的数据就没法用。

不要凭空让大模型生成。先人工写几十条高质量种子样本，作为：

种子质量决定合成质量上限。

用大模型 + 种子示例批量生成。技巧：

生成的数据绝不能直接用，必须过滤：

过滤环节花的时间，通常比生成还多，但这是成败关键。

用过滤后的数据微调小模型，然后在独立的人工标注测试集上评估。

纯合成数据有个根本问题：分布可能偏离真实场景。

最稳的做法是混合：

合成数据（多、便宜） + 真实标注数据（少、精）

哪怕只有几百条真实数据，混进合成集里，也能显著提升泛化。真实数据贵，但它的价值极高，别省。

合成数据是解决数据瓶颈的有效杠杆，但它不是”免费的数据”。它的价值取决于过滤和混合的质量。把大模型当老师、把人工当裁判、把真实数据当锚点，你就能用很小的标注成本，练出一个真正好用的小模型。