大模型蒸馏技术：Teacher-Student 范式详解
知识蒸馏：让小模型继承大模型的智慧 知识蒸馏（Knowledge Distillation）是模型压缩领域最重要的技术之一。通过让小模型（Student）学习大模型（Teacher）的知识，可以在保持接近大模型性能的前提下，大幅减少参数和计算量。本文深入解析蒸馏的原理与实践。 一、知识蒸馏的理论基础 1.1 为什么蒸馏有效 Teacher 模型不仅输出正确答案，还输出软标签（Soft Labels）——包含了类别间的相似性关系。这些"暗知识"（Dark Knowledge）比硬标签包含更多信息： 硬标签 (Hard Label): 猫: 1.0, 狗: 0.0, 汽车: 0.0 → 只告诉你"这是猫" 软标签 (Teacher, T=3): 猫: 0.7, 狗: 0.25, 汽车: 0.05 → 告诉你"这是猫, 但很像狗, 完全不像汽车" → 包含了类别间的关系信息! 1.2 温度参数 Teacher 使用温度 $T$ 平滑输出分布： $$p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$ 温度越高，分布越平滑，暗知识越明显。常用 $T \in [2, 10]$。 1.3 蒸馏损失函数 $$\mathcal{L} = \alpha \cdot \mathcal{L}{KD} + (1 - \alpha) \cdot \mathcal{L}{CE}$$ ...