大模型微调的数据工程全流程

在大模型微调中，数据质量的重要性远超算法选择。同样的微调方法，高质量数据可以带来20-30%的效果提升，而低质量数据不仅无益，还可能损害模型的通用能力。本文系统梳理微调数据工程的全流程。

数据采集

来源规划

微调数据应该来自多个渠道，避免单一来源的偏见：

真实交互数据：从生产环境中收集用户与模型的交互数据，筛选高质量的对话。这是最有价值的数据来源，因为它反映了真实的使用模式。需要注意的是用户隐私保护和数据脱敏。

合成数据：使用更强大的模型生成训练数据。合成数据的优势是可以针对特定能力定向生成，劣势是可能继承教师模型的偏见。我们建议合成数据不超过总数据量的40%。

人工标注：领域专家编写的高质量样本。成本最高但质量最好，适用于关键能力的数据补充。

公开数据集：学术数据集和开源数据。需要注意许可协议和数据质量参差不齐的问题。

采样策略

数据采样的目标是确保训练集覆盖目标能力的各个方面。我们采用"能力矩阵"方法——定义需要微调的能力维度和难度等级，确保每个格子有足够的数据样本。

数据清洗

去重

数据去重看似简单，实则有不少坑。精确去重（完全相同的样本）只能去除最明显的冗余，大量近似重复的样本仍会浪费训练资源并导致过拟合。

我们采用了MinHash+LSH进行模糊去重，将Jaccard相似度超过0.7的样本对标记为近似重复，保留质量更高的那条。在一个10万条数据集上，模糊去重额外移除了约8%的样本。

质量过滤

低质量数据是微调效果的杀手。我们建立了多级质量过滤管道：

规则过滤：移除包含乱码、编码错误、过短或过长、重复模式严重的样本。这一步快速且成本低，可以过滤约10-15%的明显低质量数据。

模型过滤：使用一个训练好的质量评分模型对每条数据打分，低于阈值的被过滤。评分模型可以是一个在人类标注的质量数据上训练的小型分类器，也可以使用LLM-as-Judge。

人工抽检：随机抽取5-10%的样本进行人工检查，评估自动过滤的准确性，并校准过滤阈值。

格式规范化

微调数据的格式必须与模型的训练格式一致。常见问题包括：特殊token的不一致、对话角色的混淆、多轮对话中上下文的截断方式不一致等。

我们定义了严格的格式schema，使用JSON Schema验证每条数据的结构完整性。不符合schema的样本被标记并修复或丢弃。

数据增强

指令改写

同一条指令可以有多种表达方式。“帮我总结这篇文章"和"请概括以下内容的要点"在语义上等价但表达不同。通过指令改写增加表达多样性，可以提高模型的泛化能力。

我们使用LLM自动改写指令，每条原始指令生成3-5个改写版本。关键是要保持语义不变——我们用一个语义相似度模型过滤掉语义偏移过大的改写。

难度分层

同一任务的不同难度级别对模型学习很重要。如果数据全是简单任务，模型无法处理复杂场景；如果全是困难任务，模型难以学到基本模式。

我们为每个任务类型准备了三个难度级别的数据：简单（单步推理）、中等（2-3步推理）、困难（多步推理+边缘情况）。比例约为4:4:2。

数据混合策略

微调数据不仅要覆盖目标任务，还需要包含一定比例的通用数据，以防止灾难性遗忘——模型在学会新能力的同时忘记原有能力。

我们的数据混合方案：

• 60% 目标任务数据
• 25% 通用对话数据（从预训练数据中采样）
• 10% 安全对齐数据
• 5% 代码和推理数据

这个比例不是固定的，需要根据具体任务和模型表现进行调整。关键是监控模型在通用benchmark上的表现，确保微调没有显著损害通用能力。

质量评估

自动评估

在微调前，我们使用以下指标评估数据质量：

多样性指标：计算数据集的语义多样性分布，确保覆盖面足够 难度分布：统计不同难度级别的样本比例 毒性检测：使用分类器检测并移除有毒内容 偏见检测：检查数据是否存在性别、种族等方面的系统性偏见

消融实验

最终的数据质量需要通过微调实验来验证。我们采用消融实验——分别用完整数据集和去除某一部分后的数据集进行微调，比较效果差异。这帮助我们理解哪些数据对模型能力贡献最大。

结语

数据工程是微调中最耗时但也最值得投入的环节。在我们的实践中，数据工程占整个微调项目时间的60-70%，但也是回报最高的投入。好的数据可以让简单的微调方法超越复杂方法在差数据上的表现。数据为王，在微调领域依然是真理。

本文同步发布于 硅基AGI论坛