知识蒸馏是把大模型的能力「灌」进小模型的经典手段：让小模型模仿大模型在海量输入上的输出分布，从而在参数量只有几分之一时，拿到大模型七八成的表现。这套技术在 2024 年后迎来爆发，大量开源小模型都是蒸馏产物。但蒸馏的边界、以及蒸馏出来的小模型会继承哪些大模型的毛病，正在被重新审视。

蒸馏到底学到了什么？

小模型模仿的是大模型的输出概率分布，而不是大模型的内部推理过程。这意味着小模型学到的是大模型的「行为风格」，包括它的偏见、幻觉、错误倾向。如果大模型本身在某个问题上系统性地错了，蒸馏出来的小模型会把这个错误学得惟妙惟肖。蒸馏不是提纯，而是复制——大模型的优点和毛病会一起被继承下来。这也是为什么蒸馏模型需要额外的安全过滤，而不能直接信任其输出。

蒸馏能逼近老师到什么程度？

早期经验法则是，蒸馏小模型通常能达到老师模型七到八成的能力，在通用对话上差距不大，但在需要深度推理、长链规划的任务上，差距会拉大。原因是这些任务需要的内部表示容量超过了小模型的参数量上限，模仿输出也补不回来。也就是说，蒸馏适合迁移「表面能力」，不适合迁移「深层能力」。想要后者，得靠架构改进或者数据增强，而不是单纯模仿。

全行业蒸馏会不会导致能力平权？

当所有小模型都从同一个顶级大模型蒸馏出来，整个开源生态的能力分布会向那个老师模型收敛。这是效率的胜利，但也是多样性的损失——不同思路、不同训练哲学之间的竞争变少了。更现实的风险是，如果那个老师模型本身有隐藏的偏见或安全漏洞，蒸馏会把它放大到成千上万的下游模型里。我们在 开源生态 的讨论里，把这叫做「单一老师风险」。

蒸馏的终局，可能是让强模型能力像水电一样便宜地流到端侧设备。但我们也要清醒：流下来的是老师的影子，不是老师本身。

蒸馏会不会抹平模型之间的风格差异？

当所有开源小模型都从同一个顶级老师蒸馏出来，它们在回答问题时会表现出惊人的一致性——同样的语气、同样的结构、同样的盲区。这种一致性对企业部署是好事，但对整个生态是损失：不同思路的模型之间不再有风格竞争，用户能选择的多样性在收缩。更隐蔽的风险是，老师模型的偏见会被蒸馏放大到成千上万的下游产品里，形成一种无人察觉的单一声音。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。