训练实践

引言 RLHF（人类反馈强化学习）是对齐LLM的主流方法，但其训练流程复杂——需要训练奖励模型、使用PPO等强化学习算法。DPO（Direct Preference Optimization）提供了一种更简洁的替代方案：不需要奖励模型，直接从偏好数据中学习。 2026年，DPO已经成为最流行的对齐方法之一。本文将介绍DPO的原理和实践。 一、DPO原理 1.1 与RLHF对比 RLHF流程: 1. 训练奖励模型 2. 使用PPO优化策略（需要4个模型同时运行：策略、参考、奖励、价值） 3. 训练不稳定，超参数敏感 DPO流程: 1. 直接从偏好数据优化策略（只需2个模型：策略、参考） 2. 训练稳定，超参数简单 3. 本质上是分类问题 1.2 数学原理 DPO的核心洞察：最优策略可以通过偏好数据的对数比来表达，不需要显式的奖励模型。 DPO损失 = -log σ(β·(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x))) 其中: y_w = 偏好（chosen）的回答 y_l = 不偏好（rejected）的回答 π = 当前策略 π_ref = 参考策略（通常是SFT模型） β = 温度参数 二、数据准备 2.1 偏好数据格式 { "prompt": "如何学习编程？", "chosen": "学习编程建议从Python开始，因为它语法简洁...（优质回答）", "rejected": "编程很难，你可能学不会。（劣质回答）" } 2.2 数据构建 class DPODataBuilder: async def build_from_human_annotations(self, annotations): """从人工标注构建DPO数据""" dpo_data = [] for ann in annotations: dpo_data.append({ "prompt": ann.prompt, "chosen": ann.preferred_response, "rejected": ann.rejected_response }) return dpo_data async def build_from_ai_feedback(self, prompts, model): """使用AI反馈构建DPO数据""" dpo_data = [] for prompt in prompts: # 1. 生成多个回答 responses = await model.generate( prompt, num_return_sequences=2, temperature=0.8 ) # 2. 使用评判模型选择更好的回答 judgment = await self.judge(prompt, responses[0], responses[1]) if judgment["winner"] == "A": chosen, rejected = responses[0], responses[1] else: chosen, rejected = responses[1], responses[0] # 3. 只保留有明确偏好的数据 if judgment["confidence"] > 0.7: dpo_data.append({ "prompt": prompt, "chosen": chosen, "rejected": rejected }) return dpo_data async def judge(self, prompt, response_a, response_b): """使用LLM评判哪个回答更好""" judge_prompt = f""" 问题: {prompt} 回答A: {response_a} 回答B: {response_b} 哪个回答更好？A还是B？ 输出JSON: {{"winner": "A"/"B", "confidence": 0-1, "reason": "..."}} """ return await self.judge_model.call(judge_prompt) 2.3 数据质量保障 class DPODataQualityChecker: def check(self, dataset): issues = [] for sample in dataset: # 1. chosen和rejected不能太相似 similarity = self.compute_similarity(sample["chosen"], sample["rejected"]) if similarity > 0.9: issues.append({"issue": "too_similar", "sample": sample}) # 2. chosen不能比rejected差 # （需要评判模型验证） # 3. prompt长度合理 if len(sample["prompt"]) > 2048: issues.append({"issue": "prompt_too_long", "sample": sample}) # 4. 回答长度差异不能太大 len_diff = abs(len(sample["chosen"]) - len(sample["rejected"])) if len_diff > 2000: issues.append({"issue": "length_bias", "sample": sample}) return issues 三、训练 3.1 使用TRL库 from trl import DPOTrainer, DPOConfig # 1. 加载模型 model = AutoModelForCausalLM.from_pretrained("sft-model-path") ref_model = AutoModelForCausalLM.from_pretrained("sft-model-path") # 2. 配置 config = DPOConfig( output_dir="./dpo-output", num_train_epochs=3, per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=5e-7, warmup_ratio=0.1, beta=0.1, # DPO温度参数 max_prompt_length=512, max_length=2048, logging_steps=10, save_steps=100, bf16=True, ) # 3. 训练 trainer = DPOTrainer( model=model, ref_model=ref_model, args=config, train_dataset=dpo_dataset, tokenizer=tokenizer, ) trainer.train() 3.2 超参数选择 # β（beta）选择 beta = 0.1 # 保守，接近SFT模型 beta = 0.3 # 平衡 beta = 0.5 # 激进，更大偏移 # 学习率 lr = 5e-7 # DPO通常需要很小的学习率 # 比SFT小10-100倍 # epoch数 epochs = 1-3 # DPO通常1-3轮足够 # 过多轮会导致过拟合 3.3 QLoRA + DPO # 先用QLoRA加载模型 model = AutoModelForCausalLM.from_pretrained( "base-model", quantization_config=bnb_config, device_map="auto" ) model = get_peft_model(model, lora_config) # DPO训练 trainer = DPOTrainer( model=model, ref_model=None, # QLoRA模式下不需要单独的ref_model args=config, train_dataset=dpo_dataset, tokenizer=tokenizer, ) 四、评估 class DPOEvaluator: async def evaluate(self, model, eval_dataset): metrics = { "accuracy": [], # DPO准确率（chosen得分>rejected得分） "margin": [], # chosen和rejected的分数差 "reward_accuracy": [] # 奖励准确率 } for sample in eval_dataset: # 计算chosen和rejected的对数概率 chosen_logprob = self.compute_logprob( model, sample["prompt"], sample["chosen"] ) rejected_logprob = self.compute_logprob( model, sample["prompt"], sample["rejected"] ) # 准确率 metrics["accuracy"].append(chosen_logprob > rejected_logprob) # 边际 metrics["margin"].append(chosen_logprob - rejected_logprob) return {k: np.mean(v) for k, v in metrics.items()} 五、常见问题 5.1 过拟合 DPO容易过拟合——训练太多轮后，模型会"记住"偏好数据而非学习通用偏好。 ...