基础概念

概念解析——知识蒸馏

知识蒸馏(Knowledge Distillation,简称 KD)是一种模型压缩技术:用一个已经训练好的大模型当老师,教一个小模型学会它的能力。小模型跑得快、占内存少,效果却出人意料地接近大模型。今天很多手机上的 AI、浏览器里的翻译、开源社区的小模型,背后都用了蒸馏。


1. 知识蒸馏是什么

拆开来理解。知识指大模型已经学会的东西;蒸馏是把这些知识浓缩出来传递给小模型。大模型叫 teacher(老师),小模型叫 student(学生)。

传统训练里,学生学的是数据集里的标准答案——「这张图是金毛,别的都是 0」。蒸馏换了一种学习对象:学生学的是老师的完整输出——「这张图,金毛 85%、狼 8%、狐狸 5%」。那些「次要选项也有几分」的信息,论文里叫暗知识(dark knowledge)。

蒸馏的核心想法:教会学生的不是答案,而是老师得出答案的思考方式——用那管完整概率。

老师可以是一个大模型、一个模型集成(多个模型投票),甚至是一整套管道的组合输出。学生通常小得多——几十分之一的参数——但只要能学到老师概率分布里的结构,就能跑出接近老师的水平。


2. 为什么需要蒸馏

大模型效果好,但好是有代价的。

GPT-4 级别的模型,推理一次可能需要几百 GB 显存、几十毫秒。手机放不下,浏览器跑不动,智能音箱更没戏。你想在边缘设备上跑 AI——离线翻译、实时语音、端侧图像识别——就必须把模型变小。

缩小的办法有三条路:

  • 量化(Quantization):同一个模型,把权重的数字精度从 32 位降到 4 位或 8 位。
  • 剪枝(Pruning):砍掉不重要连接或层,模型结构不变,参数变少。
  • 蒸馏(Distillation):换一个更小的模型,让大模型当老师教它。

三条路不互斥。实际部署时经常蒸馏 + 量化一起上:先蒸小,再压精度。这样损失最小、收益最大。

类比:老师写了一本厚教材(大模型),学生不需要背整本教材。学生只需要老师划重点、讲清楚每个知识点之间的逻辑——这就是蒸馏在做的事。

3. 蒸馏的工作原理

3.1 软标签 vs 硬标签

分类模型最后一层输出叫 logits——一组没归一化的分数。经过 softmax 转换成概率:哪个类别概率最高,模型就选谁。

硬标签(hard label)就是 one-hot 向量:正确答案是 1,其余是 0。比如「金毛 = 1,狼 = 0,狐狸 = 0」。这种标签丢失了所有次要信息。

软标签(soft label)保留完整的概率分布:金毛 85%、狼 8%、狐狸 5%、猫 1.5%、雪豹 0.5%。学生从这份分布里学到的不仅是「答案是什么」,还有「金毛和狼在老师眼里有点接近」——这层结构信息就是暗知识。

3.2 温度(Temperature)

为了让暗知识更明显,Hinton 在 2015 年的论文里引入了一个参数:温度 T。公式很简单:把 logits 除以 T 再做 softmax。

T = 1 就是标准的 softmax;T 越大,输出分布越平滑,高概率压低、低概率拉高,次要类别的信息就暴露出来了。Hinton 推荐 T 在 3 到 5 之间——太小暗知识出不来,太大正确答案都被淹没了。

示例:老师 logits = [8.0, 4.5, 3.1, 0.4, 0.2]
T = 1 → 金毛 97.6%,狼 1.9%,狐狸 0.4%……(暗知识几乎看不见)
T = 4 → 金毛 70.1%,狼 14.4%,狐狸 8.2%……(次要类别露出来了)

3.3 蒸馏的训练流程

训练学生分为两步。先把老师的 logits 除以 T 得到软化的概率分布;然后让学生同时学两个东西:软标签里的暗知识(匹配老师的分布),以及硬标签里的正确答案(不把正确答案丢掉)。

学生训练完成后,推理时 T 回到 1——不需要再软化,直接输出标准概率。


4. 两个损失函数:学生同时被两根绳子拉

蒸馏的损失函数有两部分,学生被两条绳同时拽着。

第一根绳

KL 散度(Kullback-Leibler divergence)

衡量学生的概率分布和老师的概率分布有多「远」。KL 越小,学生的分布越接近老师。这部分让学生学到暗知识——那些「5% 像狼、3% 像狐狸」的结构。

第二根绳

交叉熵损失(Cross-entropy loss)

标准的分类损失,用硬标签监督。让学生不要只盯着老师的分布看,还得确保最终答案是正确的那一个。

总损失 = α · KL 散度 + (1 − α) · 交叉熵。α 控制两根绳的松紧:α 大就偏重学老师的暗知识,α 小就偏重硬标签的标准答案。Hinton 推荐 α 在 0.5 到 0.9 之间,具体数值看老师的质量——老师越强,α 可以越大。

蒸馏的损失函数其实在说一句话:信老师,但别全信老师——正确答案仍然是最重要的锚。

5. 真实世界的成功案例

蒸馏不是一个实验室里的花招。过去十年,它养出了好几个知名模型家族。

2019

DistilBERT

Hugging Face 把 BERT(1.1 亿参数)蒸馏成一个 6600 万参数的学生。砍掉 40% 参数,保留 97% 的 GLUE 分数,推理速度快了 60%。方法很简单:除了老师的软标签,还加了「词向量方向要接近」和「遮词猜词」两股绳一起拉。至今仍是 Hugging Face 下载量最大的模型之一。

2023

Alpaca · 自指令蒸馏

Stanford 用 GPT-3.5 生成 5.2 万条指令数据,喂给 LLaMA-7B 做微调。严格说这不是概率蒸馏,而是把老师生成的输出当训练数据——但思想一致:用大模型的知识教小模型。Alpaca 之后,Vicuna、WizardLM、Orca 全是同一个套路。

2024–2025

Phi 系列 & TinyLlama

Microsoft 的 Phi-1/Phi-2 用了「教科书级数据」策略:用 GPT-3.5/4 生成教学质量的代码和文本数据来训练 1.3B–2.7B 的小模型,在小学数学和编程任务上逼近 7B 模型。TinyLlama(1.1B)则走传统蒸馏路线,从 Llama-2 7B 蒸馏,目标是手机端运行。

2025

DeepSeek R1 蒸馏家族

DeepSeek 把 R1 在数学/代码题上的完整思考轨迹(trace)整理成 80 万条数据,用来 SFT 训练 Qwen2.5 和 Llama3 的 6 个尺寸(1.5B 到 70B)。结果 7B 版本在 AIME 2024 数学竞赛上拿到 55.5 分——是 GPT-4o(9.3 分)的 6 倍。14B 已经追平 OpenAI o1-mini。这条路和 Hinton 的概率蒸馏不完全一样(学生学的是推理文字,不是概率表),但「大模型教小模型」的核心相同。


6. 蒸馏的局限

蒸馏不是免费的。以下三个问题在实践中最常见。

Over-smoothing(过度平滑)。T 太大,老师的输出被拉成均匀分布,正确答案都被埋没了。学生既学不到 top-1,也学不到次序。T 别超过 6。

Capacity gap(能力差距)。70B 的老师教 1B 的学生?学生太小,消化不了那么复杂的分布。中间可以插一个 TA(Teacher Assistant)模型分级蒸馏——老师先教中等模型,中等模型再教小模型。

Self-distill drift(自蒸馏漂移)。学生再当下一轮的老师,每一代丢一点尾部分布。低概率类别被反复抹除,几代之后模型只剩最安全的输出。Shumailov 等人在 Nature 上称之为 model collapse(模型崩塌)。保留一定比例的真人数据当锚能缓解。

硬规则:如果老师本身错了,蒸多少次都是错的。先验证老师在你任务上的真实误差,再决定蒸馏方案。蒸馏放大了老师的好,也放大了老师的偏见。

7. 相邻概念

蒸馏不是孤立的技术。你接下来可以顺着这些概念深入理解:

  • 量化(Quantization):同一条压缩路上的另一条分支——把权重的数字精度降低,模型结构不变。
  • 预训练(Pretrain):大模型在通用数据上先学一遍,蒸馏通常从预训练好的老师开始。
  • 微调(Finetune):在预训练模型上用领域数据做二次训练,蒸馏可以和微调同步做。
  • 部署(Deploy):蒸馏的直接驱动力——把大模型变成能在手机、浏览器、IoT 设备上运行的形式。
  • 模型推理(Model Inference):蒸馏后的小模型推理更快、成本更低,是落地到产品端的关键步骤。
概念解析 · 人工智能ABC