知识蒸馏实战：让大模型的能力装进小模型

为什么要蒸馏

大模型能力强，但贵、慢、难私有化。小模型便宜、快、可本地部署，但能力弱。

知识蒸馏（Knowledge Distillation） 就是干这件事：把大模型（教师）的能力，迁移到小模型（学生）身上，让学生用小得多的体量，逼近老师的表现。

2026 年，蒸馏已经是从”云端原型”走向”边缘落地”的关键一步。

经典蒸馏：学软标签，不只学答案

最早的蒸馏思路很巧妙：让学生学老师的”概率分布”，而不只是最终答案。

比如分类任务，老师对一张图给出：

猫: 0.85   狗: 0.12   兔子: 0.03

学生若只学硬标签”猫”，就只得到”这是猫”。但学软标签（整个分布），它还能学到”这有点像狗、不太像兔子”——这就是所谓的暗知识（dark knowledge），是老师泛化能力的来源。

实现上，用温度参数 T 软化分布：

soft_teacher = softmax(logits_teacher / T)
soft_student = softmax(logits_student / T)
loss = KL(soft_teacher, soft_student) + CE(student, hard_label)

关键点：学生学习的是老师的”思考方式”，而非结论。

路线一：输出蒸馏（Response Distillation）

最简单：拿老师对大量输入的输出，作为学生的训练数据。

输入 X → 老师生成答案 Y → (X, Y) 训练学生

• 优点：实现简单，不碰模型内部
• 缺点：老师错了学生也学错；只学到”表面输出”，学不到推理过程
• 适用：任务明确、有大量输入、对推理深度要求不高的场景

路线二：思维链蒸馏（CoT Distillation）

针对推理任务的关键升级：让学生不仅学答案，还学推理步骤。

输入：一个数学应用题
老师输出：分步推理 + 最终答案
学生训练目标：复现完整推理链

• 优点：显著提升小模型的推理能力，比只学答案强得多
• 代价：需要老师生成高质量推理链，数据成本高
• 注意：要过滤掉老师的错误推理，否则污染学生

2026 年做推理型小模型，CoT 蒸馏几乎是标配。

路线三：数据合成 + 蒸馏（合成优先）

当代最主流的落地方式：先用大模型合成高质量训练数据，再微调小模型。

流程：

1. 定义目标任务的输入分布
2. 让大模型批量生成”输入–输出”对（含推理过程）
3. 做质量过滤：去重、去错、去毒性
4. 用这批数据微调小模型
5. 用评测集验证，迭代

合成数据 → 质量过滤 → 微调 → 评估 → (反馈) 回到合成

• 优点：突破真实数据不足，可定向补短板
• 关键：数据质量决定上限。合成数据的筛选和多样性，比数量更重要

三条路线对比

路线	学到什么	成本	效果
输出蒸馏	表面答案	低	中
CoT 蒸馏	推理过程	中高	高
数据合成	可定制能力	中	高（质量决定）

实际项目里，三者常组合：合成数据打底 + CoT 提推理 + 输出蒸馏补覆盖。

常见陷阱

1. 只学硬标签：丢掉了暗知识，学生泛化差
2. 不筛老师错误：老师 5% 的错误率会被学生继承甚至放大
3. 数据同质化：合成数据千篇一律，学生学得”死板”
4. 忽视评测：不建评测集，就不知道蒸馏到底有没有用
5. 教师过强冗余：有时用中等模型当老师反而更平衡（能力差太大，学生学不动）

落地清单

• 明确目标任务与目标学生模型规模？
• 老师的输出是否经过质量过滤？
• 推理任务是否采用 CoT 蒸馏？
• 合成数据是否有多样性控制？
• 是否建立了蒸馏前后的对比评测集？
• 是否评估了错误继承问题？
• 是否对比过”性价比”更优的教师选择？

结语

蒸馏的本质，是用大模型的”余力”换小模型的”效率”。它不是复制粘贴，而是一场需要设计数据、控制质量、持续评测的工程。做好了，你能用 1/10 的成本，拿到 90% 的能力——这正是 2026 年大量 AI 应用从云端走向边缘的底气。