蒸馏是把大模型的能力搬到小模型上的常见手段,但蒸馏出来的模型能不能上生产,取决于你有没有做对验收,而不是蒸馏脚本写得多漂亮。
蒸馏到底蒸的是什么?
常见做法是让大模型生成大量问答对,再用这些数据微调小模型。蒸的是行为模式,不是知识本身。所以小模型会学会大模型的答题风格,但不一定学会它的事实准确性。
这意味着蒸馏模型在格式和语气上很像老师,在事实和推理上可能差很多。验收时必须把这两层分开测。
上生产要过哪四道门?
第一道是事实一致性:抽一百条,逐条核对,错误率不能高于可接受阈值。第二道是拒答能力:遇到不知道的,它会不会编。第三道是分布外表现:给它没见过的任务类型,看会不会崩。
第四道是稳定性:同样的输入跑十次,输出是否一致。蒸馏模型有时会出现风格漂移,尤其在长对话后。
常见失败原因是什么?
最常见的是训练数据太单一。只用一种问法生成数据,模型就只会答那一种问法。解决办法是让老师模型用多种风格、多种难度生成,并混入真实用户问法。
第二常见的是过拟合。训练轮次太多,模型把训练集的答案背下来,换个说法就不会。要留出验证集,且验证集必须来自真实场景。
什么时候不该蒸馏?
当你的任务需要强推理、或数据分布变化很快时,蒸馏的收益很低。模型学的是过去的分布,业务一变就失效。
另一个判断标准是数据量:如果你连一万条高质量样本都凑不齐,先做提示词工程和检索增强,比蒸馏更划算。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论