如何把“学霸大脑”塞进手机？一文读懂大模型知识蒸馏

现在的顶级 AI 大模型，比如 DeepSeek-R1，就像一位上知天文、下知地理的“泰斗级老教授”。虽然能力强大，但有个明显的缺点——太“胖”了！

这些大模型动辄拥有数千亿参数，运行起来需要大量的显存和计算资源。如果想把它们直接塞进手机、笔记本电脑，硬件可能根本吃不消。

那么，有没有办法让普通设备也能拥有强大的 AI 能力呢？

科学家们想出了一个巧妙的办法：知识蒸馏（Knowledge Distillation）。

一、核心概念：什么是知识蒸馏？

简单来说，知识蒸馏就是一场 AI 界的“名师带高徒”。

既然“老教授”本身体积太大，无法直接搬进手机，那我们不妨找一位年轻学徒，让老教授把自己的知识和解题经验传授给他。

在人工智能中，这两个角色有专门的称呼：

• 教师模型（Teacher Model）：通常是能力较强、参数规模较大的模型，负责提供知识和指导。
• 学生模型（Student Model）：通常是参数规模较小的模型，通过学习教师模型提供的信息，提高自身能力。

这个知识传递的过程，就叫做知识蒸馏。

最终，我们希望培养出一个虽然体积小巧，但在特定任务上依然表现出色的学生模型。

二、关键秘诀：为什么“名师指点”比自己刷题更有价值？

你可能会好奇：

既然有现成的训练题库，直接让小模型自己刷题不就行了？为什么还要找大模型来教？

这就涉及知识蒸馏中的两个重要概念：硬标签（Hard Label）和软标签（Soft Label）。

我们用一道选择题来举例。

假设一道题有 A、B、C、D 四个选项，正确答案是 C。

第一种：只看标准答案（硬标签）

普通训练数据可能只会告诉学生模型：

正确答案是 C，其他选项都是错误的。

学生模型只能从中知道哪个选项正确，却无法直接了解其他选项之间的差异。

第二种：参考老师的判断（软标签）

如果让教师模型来做这道题，我们可能得到这样的预测概率：

• C：85%
• B：14%
• A、D：合计 1%

发现区别了吗？

虽然 C 的预测概率最高，但教师模型同时告诉了我们：B 比 A、D 更容易被模型认为是正确答案。

这种信息在普通的标准答案中是看不到的。

研究人员将教师模型输出分布中蕴含的这类额外信息称为暗知识（Dark Knowledge）。

学生模型通过学习这些概率分布，就有机会掌握教师模型对不同答案的区分方式，而不只是学习最终答案。

当然，在大语言模型中，这种概率分布通常还体现在对下一个 Token 的预测上，而不仅仅是选择题。

三、今天的大语言模型是怎么蒸馏的？

早期的知识蒸馏，常常通过模仿教师模型的输出概率进行训练。

但到了大语言模型时代，模型不仅需要做分类题，还需要写文章、编代码、解决复杂数学问题。

因此，蒸馏的方法也变得更加丰富。

1. 抄学霸的“学习笔记”（数据蒸馏）

假设教师模型非常强大，但我们无法获取它的内部参数。

这时候怎么办？

既然看不到老师的大脑，那就让老师把解题过程写出来！

以 DeepSeek-R1 的蒸馏模型为例。

整个过程可以简单理解为：

1. 老师出手：利用能力强大的 DeepSeek-R1 生成包含推理步骤和答案的训练数据。
2. 整理笔记：对这些数据进行筛选和整理，尽可能保留高质量的解题样本。
3. 学生学习：使用这些数据，对 Qwen、Llama 等较小的基础模型进行监督微调（SFT）。
4. 检验成果：在数学、代码等任务上测试学生模型，看看它是否真正学到了有用的推理模式。

通过这种方式，DeepSeek 团队训练出了 1.5B、7B、14B 等不同参数规模的蒸馏模型。

这些学生模型虽然远小于教师模型，但在部分推理任务上依然取得了不错的表现。

需要注意的是，学生学习的是教师生成的推理文本，而不是直接复制教师模型内部的全部思考机制。

2. 手把手“传授内功”（白盒蒸馏）

如果我们不仅能看到教师模型的回答，还能访问它内部的计算信息，那就有了更多的教学方式。

例如，我们可以让学生模型学习：

• 教师模型对不同 Token 的预测概率。
• 教师模型中间层产生的特征表示。
• 教师模型在处理信息时形成的某些注意力模式。

这就像学生不仅能看老师写出的答案，还能参考老师解题过程中产生的各种中间信息。

通过设计合适的训练目标，让学生模型尽可能模仿这些信息，就有机会实现更深入的知识迁移。

不过，这种方法通常需要访问教师模型的内部信息，训练过程也可能更加复杂。

四、蒸馏技术究竟能带来什么？

知识蒸馏的意义，不只是让模型变小。

更重要的是，让原本需要大量计算资源才能获得的部分 AI 能力，能够以更低的成本提供给更多人。

1. 降低部署门槛

像 DeepSeek-R1 这样的大模型，普通消费级显卡通常无法直接完整部署。

但经过蒸馏训练的 7B、1.5B 等小模型，对显存的需求就低得多。

配合量化等技术，我们甚至可以将部分轻量级模型运行在笔记本电脑、智能手机等设备上。

2. 提高推理效率

参数更少的模型，通常意味着更低的计算开销。

在相同硬件条件下，小模型往往能够更快地生成回答，也更适合需要大量请求的应用场景。

3. 让 AI 更容易走进实际应用

例如，我们想开发一个专门负责代码补全、客服问答或者数学解题的 AI 助手。

与其部署一个昂贵的超大模型，不如通过蒸馏训练一个针对特定任务的小模型。

只要能满足业务需求，就可能以更低的成本取得不错的效果。

当然，蒸馏并不是魔法。学生模型的能力仍然受到自身规模、训练数据质量等因素的限制，不能指望它完整继承教师模型的全部本领。

五、蒸馏和微调有什么区别？

最后，还有一个容易混淆的问题：

前面提到的蒸馏，不也是在训练小模型吗？它和微调有什么区别？

其实两者并不冲突。

• 微调（Fine-tuning）：是一种训练方式，使用特定数据继续训练已有模型，让它更适应目标任务。
• 知识蒸馏（Knowledge Distillation）：是一种知识迁移思路，让学生模型学习教师模型提供的信息。

例如，我们使用人工编写的数学题解训练一个 7B 模型，这属于监督微调。

如果训练数据来自能力更强的教师模型，并且训练目的是让学生模型学习教师的回答方式，那么这个过程就可以属于知识蒸馏。

所以，蒸馏可以通过微调来实现，但微调不一定是蒸馏。

总结

知识蒸馏的核心思想，其实就是让“满级老教授”把自己的知识和解题经验传授给年轻学徒。

在这个过程中，学生模型可以学习教师模型的预测概率、输出答案、推理步骤，甚至部分内部特征。

最终，我们希望得到一个更加轻量、运行更快，同时又能保留教师模型部分能力的小模型。

大模型负责探索能力的上限，小模型则努力把这些能力带到更多实际应用中。

这正是知识蒸馏技术的重要价值。