指令微调是让基座模型学会听指令的关键一步。这一步的数据量通常只占总训练量的很小一部分,但效果差异巨大。

实践中反复验证的一个结论是:几千条高质量样本,胜过几十万条低质量样本。

质量差在哪里?

三类问题。第一类是答案错,标注者自己没搞懂就给了一个看似合理的回答。第二类是格式乱,指令和回答的边界不清,模型学到的是混乱的结构。第三类是多样性缺失,几万条样本其实是同一个模板换个说法,模型只学会了模板。

第三类最隐蔽。数据量看着大,实际信息量很小。模型在这个数据上微调,会过拟合到模板,遇到稍微不同的问法就失效。

为什么少量高质量数据更有效?

因为指令微调的目标不是灌知识,是调行为。行为是模式,模式用少量清晰样本就能建立。样本多而杂,反而让模式模糊。

还有一个机制上的原因:微调阶段学习率小、轮次少,模型主要在高概率区域做微调。清晰一致的样本会把概率分布往正确方向推,噪声样本会把分布推乱。

高质量样本长什么样?

四个特征。指令明确,不含糊,不需要猜意图。回答完整,该给的步骤都给,不省略关键环节。格式规范,结构一致但不僵硬。覆盖真实分布,包含常见的边界情况和异常输入。

再加一条:拒绝样本也要有。明确写出什么请求该拒绝、拒绝时怎么说,比只给正面样本更能塑造行为。

怎么构建这样的数据集?

三个做法。从真实流量里采样,不用人造场景。人工精标一小批,用这批做种子,再用模型批量生成候选,人工只做筛选。做去重和聚类,保证主题覆盖均匀,避免某类样本占比过高。

筛选环节最关键。常见做法是让模型给自己的输出打分,再人工复核低分和高分两端。中间段可以放宽,两端必须严。

数量到底要多少?

经验值:单一任务,几百到两千条足够。多任务混合,每类几百条,总计几千到一万条。超过这个量,收益增长很慢。

例外是需要注入特定知识或特定格式的场景,那时需要更多样本,但本质上是知识注入,不是行为塑造,应该用别的方法。

对自建团队的启示?

不要在数据量上攀比。把精力放在样本的清晰度和覆盖面,以及拒绝样本的设计上。

一个可执行的流程:先写二十条理想样本作为标准,再按这个标准筛真实数据,筛不出足够的量就说明标准太严或场景太窄,调整后再来。

微调不是喂得多就学得好,是喂得准才学得对。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论