DPO

引言 强化学习从人类反馈（RLHF）是让大语言模型与人类偏好对齐的关键技术。然而，传统RLHF采用PPO算法，训练过程不稳定、超参数敏感、工程实现复杂。2023-2026年间，一系列RLHF替代方案涌现，它们通过不同的数学推导简化了偏好对齐过程。本文将系统对比DPO、GRPO、SimPO等主流方案。 RLHF回顾：PPO的标准流程 标准RLHF包含三个阶段： SFT（监督微调）：在高质量对话数据上微调基座模型 RM（奖励模型训练）：训练奖励模型 $r_\phi(x, y)$ 拟合人类偏好 PPO（强化学习优化）：用奖励模型的分数作为奖励信号优化策略 PPO的目标函数： $$ \max_{\pi_\theta} \mathbb{E}{x \sim \mathcal{D}, y \sim \pi\theta(\cdot|x)} \left[ r_\phi(x, y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right] $$ 其中 $\beta$ 是KL散度惩罚系数，防止策略偏离参考模型太远。 PPO的痛点： 需要4个模型同时加载（策略模型、参考模型、奖励模型、价值模型） 训练不稳定，需要精细的超参数调优 奖励模型与策略模型训练目标不一致 工程实现复杂，训练效率低 DPO：直接偏好优化 核心思想 DPO（Direct Preference Optimization）的关键洞察是：RLHF的最优解有闭式表达。通过数学推导，可以将奖励函数用策略模型本身表示，从而跳过奖励模型训练和强化学习。 数学推导 RLHF的最优策略为： $$ \pi^*(y|x) = \frac{\pi_{\text{ref}}(y|x) \exp\left(\frac{r(x, y)}{\beta}\right)}{Z(x)} $$ 反解得到： $$ r(x, y) = \beta \log \frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x) $$ 代入Bradley-Terry偏好模型： $$ p(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l)) $$ ...

大模型训练四阶段：从原始语料到对齐智能 大语言模型的训练是一个多阶段的复杂过程。从原始互联网文本到能与人类对齐的智能助手，需要经过预训练、监督微调、人类反馈强化学习（RLHF）和直接偏好优化（DPO）四个阶段。本文将全面解析这条训练链路。 一、训练流程总览 ┌─────────────────────────────────────────────────────────────┐ │ 大模型训练全流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 阶段1: 预训练 (Pre-training) │ │ 输入: 万亿 Token 原始语料 │ │ 目标: Next Token Prediction │ │ 产出: 基座模型 (Base Model) │ │ │ │ 阶段2: 监督微调 (SFT) │ │ 输入: 高质量指令-回复对 (10K-1M) │ │ 目标: 模仿专家回复 │ │ 产出: 指令模型 (Instruct Model) │ │ │ │ 阶段3: 人类反馈强化学习 (RLHF) │ │ 输入: 人类偏好数据 (A > B 对比) │ │ 目标: 最大化人类偏好奖励 │ │ 产出: 对齐模型 (Aligned Model) │ │ │ │ 阶段4: 直接偏好优化 (DPO) │ │ 输入: 同 RLHF 的偏好数据 │ │ 目标: 直接优化策略, 无需奖励模型 │ │ 产出: 进一步优化的对齐模型 │ │ │ └─────────────────────────────────────────────────────────────┘ 二、预训练（Pre-training） 2.1 训练目标 预训练使用Next Token Prediction（NTP）作为训练目标： ...

AI 对齐：让模型做正确的事 AI 对齐（AI Alignment）是确保 AI 系统的行为与人类意图、价值观和利益保持一致的研究领域。2026 年，随着模型能力逼近 AGI 水平，对齐问题从学术讨论变成了紧迫的工程挑战。从 RLHF 到 Constitutional AI 再到最新的自我对齐方法，对齐技术正在经历快速迭代。 一、对齐技术演进路线 2022 2023 2024 2025 2026 │ │ │ │ │ RLHF → DPO → Constitutional → Self-Play → Multi-Agent RLAIF AI (CAI) Alignment Constitutional KTO (SPA) Alignment (MACA) 对齐方法对比总览 方法 核心思想 人类标注成本 效果 计算成本 RLHF 人类反馈强化学习 极高 好 高 DPO 直接偏好优化 高 较好 中 Constitutional AI 宪法约束自我改进 中 好 中 RLAIF AI 反馈强化学习 低 中 高 SPA 自我对弈对齐 低 较好 高 MACA 多 Agent 宪法对齐 低 最好 极高 二、RLHF 回顾与 2026 新发展 2.1 经典 RLHF 流程 ┌──────────┐ ┌──────────────┐ ┌─────────────┐ ┌──────────┐ │ SFT模型 │ → │ 奖励模型训练 │ → │ PPO强化学习 │ → │ 对齐模型 │ │ (预训练) │ │ (人类偏好数据)│ │ (RL优化) │ │ (输出) │ └──────────┘ └──────────────┘ └─────────────┘ └──────────┘ 2.2 RLHF 2026 新改进 class RLHF2026: """2026年的RLHF改进版本""" def __init__(self): self.improvements = { 'reward_model': { 'traditional': '单一奖励模型', '2026': '多维度奖励模型集成（有用性、安全性、诚实性）', }, 'preference_data': { 'traditional': '人工标注偏好对', '2026': '人工+AI混合标注，AI标注后人工审核', }, 'optimization': { 'traditional': 'PPO', '2026': 'GRPO (Group Relative Policy Optimization) + 自适应KL惩罚', }, 'evaluation': { 'traditional': '人工评估', '2026': '多维度自动评估 + 人工抽样', } } 2.3 多维度奖励模型 import torch import torch.nn as nn from transformers import AutoModel class MultiDimensionalRewardModel(nn.Module): """多维度奖励模型——2026 RLHF 标配""" def __init__(self, base_model_name: str, dimensions: list = None): super().__init__() self.base = AutoModel.from_pretrained(base_model_name) self.dimensions = dimensions or ['helpfulness', 'safety', 'honesty', 'factuality'] # 每个维度一个奖励头 self.reward_heads = nn.ModuleDict({ dim: nn.Linear(self.base.config.hidden_size, 1) for dim in self.dimensions }) def forward(self, input_ids, attention_mask): outputs = self.base(input_ids, attention_mask=attention_mask) pooled = outputs.last_hidden_state[:, 0] # CLS token rewards = {} for dim, head in self.reward_heads.items(): rewards[dim] = head(pooled).squeeze(-1) return rewards def get_combined_reward(self, rewards: dict, weights: dict = None) -> float: """加权组合各维度奖励""" weights = weights or {d: 1.0/len(self.dimensions) for d in self.dimensions} return sum(weights[d] * rewards[d] for d in self.dimensions) 三、Constitutional AI (CAI) 3.1 核心思想 Constitutionual AI 由 Anthropic 提出，核心是用一组"宪法"原则来指导模型自我改进，减少对人类标注的依赖： ...

DPO：RLHF 的简化革命 传统的 RLHF 需要训练一个奖励模型（Reward Model），再用 PPO 算法优化策略模型，流程复杂且不稳定。DPO（Direct Preference Optimization）直接用偏好数据优化模型，跳过了奖励模型，大大简化了流程。 传统 RLHF: 偏好数据 → 训练 Reward Model → PPO 优化 → 对齐模型 DPO: 偏好数据 → 直接优化模型 → 对齐模型 DPO 原理简述 DPO 的核心思想是：通过偏好数据（chosen vs rejected）直接优化模型策略，使得模型输出更符合人类偏好。 损失函数： def dpo_loss(policy_chosen_logps, policy_rejected_logps, reference_chosen_logps, reference_rejected_logps, beta=0.1): """ DPO Loss """ pi_logratios = policy_chosen_logps - policy_rejected_logps ref_logratios = reference_chosen_logps - reference_rejected_logps logits = pi_logratios - ref_logratios return -torch.nn.functional.logsigmoid(beta * logits).mean() 1. 偏好数据构建 数据格式 { "prompt": "解释量子计算的基本原理", "chosen": "量子计算利用量子比特的叠加态和纠缠特性...", "rejected": "量子计算就是很快的计算机...", "metadata": { "source": "expert_annotation", "quality_gap": 3.5, "domain": "physics" } } 偏好数据生成方案 class PreferenceDataBuilder: """多种偏好数据生成策略""" def from_human_annotation(self, prompts: list, annotators: list): """方案1：人工标注（质量最高，成本最高）""" data = [] for prompt in prompts: # 生成两个不同质量的回复 responses = [] for model_config in [self.strong_model, self.weak_model]: resp = model_config.generate(prompt) responses.append(resp) # 人工选择更好的回复 chosen_idx = annotator.select_better(prompt, responses) data.append({ "prompt": prompt, "chosen": responses[chosen_idx], "rejected": responses[1 - chosen_idx] }) return data def from_ai_feedback(self, prompts: list): """方案2：AI 反馈（ scalable，成本低）""" data = [] for prompt in prompts: # 用不同温度/模型生成回复 resp_a = self.model.generate(prompt, temperature=0.3) resp_b = self.model.generate(prompt, temperature=1.2) # 用 Judge 模型评分 scores = self.judge_model.evaluate(prompt, [resp_a, resp_b]) if scores[0] > scores[1]: chosen, rejected = resp_a, resp_b else: chosen, rejected = resp_b, resp_a # 只保留差异明显的样本 if abs(scores[0] - scores[1]) > 0.5: data.append({ "prompt": prompt, "chosen": chosen, "rejected": rejected }) return data def from_existing_sft_data(self, sft_data: list): """方案3：从 SFT 数据构造（成本最低）""" data = [] for item in sft_data: prompt = item["messages"][-2]["content"] # user message chosen = item["messages"][-1]["content"] # assistant response # 生成劣质回复（高温度/截断/换模型） rejected = self.model.generate( prompt, temperature=1.5, max_tokens=len(chosen) // 2 ) data.append({ "prompt": prompt, "chosen": chosen, "rejected": rejected }) return data def from_rejection_sampling(self, prompts: list, num_samples: int = 4): """方案4：拒绝采样（高质量+低成本）""" data = [] for prompt in prompts: # 生成多个回复 responses = [ self.model.generate(prompt, temperature=0.8) for _ in range(num_samples) ] # 用奖励模型或 Judge 模型排序 scores = self.judge_model.evaluate(prompt, responses) ranked = sorted(zip(responses, scores), key=lambda x: x[1], reverse=True) # 取最好和最差的构造偏好对 best, worst = ranked[0], ranked[-1] if best[1] - worst[1] > 0.3: # 质量差距足够大 data.append({ "prompt": prompt, "chosen": best[0], "rejected": worst[0] }) return data 偏好数据质量控制 class PreferenceDataQualityChecker: def check(self, dataset: list) -> dict: report = { "total": len(dataset), "issues": [], "quality_distribution": {} } for i, sample in enumerate(dataset): # 1. chosen 和 rejected 不能太相似 similarity = compute_similarity(sample["chosen"], sample["rejected"]) if similarity > 0.9: report["issues"].append(f"Sample {i}: chosen 和 rejected 过于相似 ({similarity:.3f})") # 2. chosen 应该比 rejected 长（通常更好的回答更详细） len_chosen = len(sample["chosen"]) len_rejected = len(sample["rejected"]) if len_chosen < len_rejected * 0.5: report["issues"].append(f"Sample {i}: chosen 过短 ({len_chosen} vs {len_rejected})") # 3. prompt 不应为空 if not sample["prompt"].strip(): report["issues"].append(f"Sample {i}: prompt 为空") # 4. 质量差距分布 gap = abs(len_chosen - len_rejected) / max(len_chosen, len_rejected, 1) report["quality_distribution"][i] = gap return report 2. DPO 训练 # dpo_train.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer from trl import DPOTrainer, DPOConfig from datasets import load_dataset # 1. 加载模型（需要两个：policy 和 reference） model_name = "Qwen/Qwen2.5-7B-Instruct" # Policy 模型（要训练的） policy_model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.bfloat16, device_map="auto" ) # Reference 模型（冻结的参考） ref_model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.bfloat16, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained(model_name) # 2. 如果用 LoRA，只需要一个模型 from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=64, lora_alpha=128, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) policy_model = get_peft_model(policy_model, lora_config) # 使用 LoRA 时，reference 模型可以设为 None # DPOTrainer 会自动用未训练的 base model 作为 reference ref_model = None # 3. DPO 配置 dpo_config = DPOConfig( output_dir="./output/dpo-qwen2.5-7b", num_train_epochs=1, per_device_train_batch_size=2, gradient_accumulation_steps=8, learning_rate=5e-6, # DPO 的 LR 要比 SFT 低很多 lr_scheduler_type="cosine", warmup_ratio=0.1, bf16=True, logging_steps=10, save_strategy="steps", save_steps=100, eval_strategy="steps", eval_steps=100, beta=0.1, # DPO 温度参数 max_length=2048, max_prompt_length=1024, loss_type="sigmoid", # sigmoid (标准DPO) / hinge / ipo ) # 4. 加载数据 dataset = load_dataset("json", data_files={ "train": "data/dpo_train.jsonl", "test": "data/dpo_test.jsonl" }) # 5. 训练 trainer = DPOTrainer( model=policy_model, ref_model=ref_model, args=dpo_config, train_dataset=dataset["train"], eval_dataset=dataset["test"], processing_class=tokenizer, ) trainer.train() 3. 超参数调优 参数 推荐值 说明 beta 0.1-0.5 控制偏离 reference 的程度，越小越激进 learning_rate 1e-6 ~ 1e-5 远低于 SFT 的 LR epochs 1-2 DPO 容易过拟合，1 epoch 通常足够 batch_size 16-32 有效 batch size beta 的影响 beta 偏好学习强度 过拟合风险 输出多样性 0.05 很强 高 低 0.1 强 中 中 0.3 适中 低 高 0.5 弱 很低 很高 # Beta 扫描实验 for beta in [0.05, 0.1, 0.3, 0.5]: config = DPOConfig(..., beta=beta) trainer = DPOTrainer(..., args=config) result = trainer.train() eval_score = evaluate(trainer.model) print(f"beta={beta}: train_loss={result.training_loss:.4f}, eval_score={eval_score:.4f}") 4. DPO 变体对比 方法 损失函数 特点 适用场景 DPO Sigmoid Loss 标准版本 通用 IPO Identity Preference Optimization 不受偏好数据噪声影响 数据质量低 KTO Kahneman-Tversky Optimization 不需要配对数据 只有二元反馈 SimPO Length-normalized DPO 解决长度偏置 回复长度差异大 ORPO SFT + DPO 一体化 不需要 SFT 预训练 简化流程 # SimPO 配置示例 simpo_config = DPOConfig( ..., loss_type="simpo", # 使用 SimPO loss beta=2.0, # SimPO 的 beta 通常更大 loss_beta=2.0, ) 5. 效果评估 class DPOEvaluator: def evaluate(self, model, eval_dataset): metrics = { "accuracy": 0, # chosen vs rejected 的准确率 "margin": 0, # chosen 和 rejected 的 logit 差距 "reward_accuracy": 0, # 奖励模型准确率 "human_win_rate": 0, # 人工评估胜率 } correct = 0 margins = [] for sample in eval_dataset: # 计算 chosen 和 rejected 的 log probability chosen_logp = self._compute_logp(model, sample["prompt"], sample["chosen"]) rejected_logp = self._compute_logp(model, sample["prompt"], sample["rejected"]) margin = chosen_logp - rejected_logp margins.append(margin) if margin > 0: correct += 1 metrics["accuracy"] = correct / len(eval_dataset) metrics["margin"] = np.mean(margins) # 生成质量评估 metrics["generation_quality"] = self._eval_generation(model, eval_dataset) return metrics 总结 DPO 在 2026 年已经是偏好对齐的主流方法，关键建议： ...

为什么需要对齐？ 预训练后的 LLM 只是"下一个 token 预测器"，它学会了互联网上的所有文本模式——包括有害内容、错误信息和不符合人类价值观的回答。 对齐（Alignment） 的目标是：让模型的行为符合人类期望。 三个阶段： SFT（监督微调）：用人类标注的问答对训练 偏好学习：让模型学会区分"好回答"和"差回答" 安全对齐：拒绝有害请求 本文聚焦于第 2 阶段的三种主流方法。 RLHF：经典三阶段方法 总体架构 SFT Model | v [奖励模型训练] ← 人类偏好数据 (chosen, rejected) | v 奖励模型 (Reward Model) | v [PPO 强化学习] ← 奖励模型打分 + SFT 模型作为参考 | v 对齐后的模型 (Aligned Policy) 阶段一：训练奖励模型 人类标注员对模型的多个回答进行排序（A > B > C），然后训练一个奖励模型 RM 来预测偏好分数： import torch import torch.nn as nn class RewardModel(nn.Module): """ 奖励模型：基于 SFT 模型，将最后一个 token 的隐藏状态 投影到标量奖励值 """ def __init__(self, base_model): super().__init__() self.base_model = base_model # 通常是 SFT 模型 self.value_head = nn.Linear( base_model.config.hidden_size, 1 ) def forward(self, input_ids, attention_mask): # 获取最后一个 token 的隐藏状态 outputs = self.base_model( input_ids, attention_mask=attention_mask, output_hidden_states=True ) hidden = outputs.hidden_states[-1] # (B, L, D) # 取最后一个非 padding token seq_lens = attention_mask.sum(dim=1) - 1 # (B,) last_hidden = hidden[torch.arange(hidden.size(0)), seq_lens] # 投影到标量 reward = self.value_head(last_hidden) # (B, 1) return reward.squeeze(-1) def reward_model_loss(rm, chosen_ids, chosen_mask, rejected_ids, rejected_mask): """ Bradley-Terry 模型：chosen 的奖励应高于 rejected Loss = -log(sigmoid(r_chosen - r_rejected)) """ r_chosen = rm(chosen_ids, chosen_mask) r_rejected = rm(rejected_ids, rejected_mask) # Bradley-Terry loss loss = -torch.nn.functional.logsigmoid(r_chosen - r_rejected).mean() # 准确率 acc = (r_chosen > r_rejected).float().mean() return loss, acc 阶段二：PPO 强化学习 用奖励模型作为奖励函数，通过 PPO 算法优化策略模型： ...

为什么需要对齐 大模型预训练后学会了"续写文本"，但不会"按要求回答"。对齐（Alignment）让模型学会按人类偏好行事——有帮助、诚实、无害。 预训练模型："如何制作蛋糕？" → 续写："如何制作饼干？"（续写模式） 对齐后模型："如何制作蛋糕？" → 回答："制作蛋糕的步骤如下：1..."（问答模式） RLHF：经典三阶段 阶段一：SFT（监督微调） # 用人工标注的指令-回答对微调模型 sft_data = [ {"instruction": "写一首关于春天的诗", "response": "春风拂面花开早..."}, {"instruction": "解释什么是量子纠缠", "response": "量子纠缠是指..."}, ] # 标准的下一个 Token 预测训练 def sft_loss(model, batch): input_ids = batch["input_ids"] # instruction + response labels = batch["labels"] # 只对 response 部分计算 loss outputs = model(input_ids, labels=labels) return outputs.loss 阶段二：奖励模型（RM） 训练一个模型来预测人类偏好分数： class RewardModel(nn.Module): def __init__(self, base_model): super().__init__() self.backbone = base_model # 通常用 SFT 模型初始化 self.reward_head = nn.Linear(hidden_size, 1) def forward(self, input_ids): hidden = self.backbone(input_ids).last_hidden_state[:, -1, :] reward = self.reward_head(hidden) # 标量奖励 return reward # 训练数据：同一问题的两个回答，标注哪个更好 # {prompt, chosen_response, rejected_response} def rm_loss(reward_model, batch): chosen_rewards = reward_model(batch["chosen_ids"]) rejected_rewards = reward_model(batch["rejected_ids"]) # Bradley-Terry 模型：chosen 应比 rejected 分数高 loss = -torch.log(torch.sigmoid(chosen_rewards - rejected_rewards)) return loss.mean() 阶段三：PPO（近端策略优化） 用奖励模型的分数作为信号，通过 RL 优化 SFT 模型： ...

为什么需要对齐 模型能力越强，对齐越重要。一个能力满分但不对齐的 Agent，比一个能力一般但安全的 Agent 危险得多。 对齐要解决三个问题： 有用（Helpful）：完成用户要求 无害（Harmless）：不产生有害内容 诚实（Honest）：不编造、不欺骗 对齐技术演进 2022: RLHF（OpenAI） → 人类反馈强化学习 2023: Constitutional AI → 宪法引导自监督 2024: DPO → 直接偏好优化 2025: GRPO → 群体相对策略优化 2026: Self-Play + RL → 自我对弈+推理RL RLHF（人类反馈强化学习） 流程 Step 1: SFT 人工标注 → 监督微调 → SFT 模型 Step 2: RM 生成回答 → 人工排序 → 训练奖励模型 Step 3: PPO 用 RM 打分 → PPO 优化策略 → 对齐模型 class RLHF: def __init__(self): self.sft_model = load_sft_model() self.reward_model = load_reward_model() self.ref_model = freeze(self.sft_model) # 参考模型 def train_step(self, prompt): # 1. 生成回答 response = self.sft_model.generate(prompt) # 2. 奖励模型打分 reward = self.reward_model(prompt, response) # 3. KL 散度约束（防止偏离太远） kl = self.kl_divergence(self.sft_model, self.ref_model, prompt) # 4. PPO 目标 loss = -(reward - 0.1 * kl) loss.backward() self.optimizer.step() RLHF 的问题 问题 描述 影响 成本高 大量人工标注 $百万级 主观偏差 标注者偏好不一致 质量不稳定 奖励黑客 模型学会欺骗 RM 输出冗长但无内容 训练不稳定 PPO 超参敏感 需要大量调参 Constitutional AI（宪法对齐） # Anthropic 提出，不需要大量人工标注 # 用"宪法"（一组原则）引导模型自我修正 CONSTITUTION = """ 1. 不要生成有害、非法或危险的内容 2. 尊重所有人群，不歧视 3. 诚实，不确定时说明 4. 保护用户隐私 5. 促进人类福祉 """ class ConstitutionalAI: async def generate(self, prompt): # 1. 生成初始回答 response = await self.model.generate(prompt) # 2. 自我审查 review = await self.model.generate( f"根据以下原则审查回答：\n" f"原则：{CONSTITUTION}\n" f"回答：{response}\n" f"审查结果：是否有违反原则的地方？" ) # 3. 自我修正 if "违反" in review: revised = await self.model.generate( f"根据审查意见修改回答：\n" f"原回答：{response}\n" f"审查：{review}\n" f"修改后：" ) return revised return response # 优势：不需要人工标注，可大规模 # 劣势：依赖模型自身能力，可能有盲区 DPO（直接偏好优化） # DPO：跳过奖励模型，直接优化策略 # 比 RLHF 简单且稳定 class DPO: def __init__(self, model, ref_model, beta=0.1): self.model = model self.ref_model = ref_model self.beta = beta def loss(self, prompt, chosen, rejected): """chosen 是更好的回答，rejected 是更差的""" # 模型对 chosen 的对数概率 pi_chosen = self.model.log_prob(prompt, chosen) pi_rejected = self.model.log_prob(prompt, rejected) # 参考模型的对数概率 ref_chosen = self.ref_model.log_prob(prompt, chosen) ref_rejected = self.ref_model.log_prob(prompt, rejected) # DPO 损失 logits = self.beta * ( (pi_chosen - ref_chosen) - (pi_rejected - ref_rejected) ) return -torch.log(torch.sigmoid(logits)) # 优势：训练稳定，不需要 RM，超参少 # 劣势：需要偏好数据对 GRPO（群体相对策略优化） # DeepSeek-R1 使用的方法 # 不需要价值网络，用群体统计代替 class GRPO: def train_step(self, prompt): # 1. 为同一 prompt 生成 G 个回答 responses = [self.model.generate(prompt) for _ in range(8)] # 2. 用奖励模型打分 rewards = [self.reward_model(prompt, r) for r in responses] # 3. 计算相对优势（群体内归一化） mean_r = np.mean(rewards) std_r = np.std(rewards) + 1e-8 advantages = [(r - mean_r) / std_r for r in rewards] # 4. 优化 for response, advantage in zip(responses, advantages): loss = -advantage * self.model.log_prob(prompt, response) loss.backward() # 优势：不需要价值网络，显存省 50% # 适合推理任务（有明确正确答案的场景） 对齐方法对比 方法 人工标注 训练稳定性 成本 效果 RLHF 大量 低（PPO难调） 高 好 Constitutional AI 少量 中 中 好 DPO 偏好对 高 中 中 GRPO 少量 高 低 推理任务最好 Self-Play 不需要 中 低 探索性强 实践选择 def choose_alignment_method(scenario): if scenario == "通用对话": return "DPO" # 稳定、效果好 elif scenario == "推理任务": return "GRPO" # 推理专精 elif scenario == "安全对齐": return "Constitutional AI" # 可大规模 elif scenario == "低成本快速对齐": return "DPO" # 最简单 elif scenario == "极致效果": return "RLHF + DPO" # 两阶段 else: return "DPO" # 默认选择 评估对齐效果 class AlignmentEval: def evaluate(self, model): return { "helpfulness": self.eval_helpful(model), # 有用性 "harmlessness": self.eval_harmless(model), # 无害性 "honesty": self.eval_honest(model), # 诚实性 "robustness": self.eval_robust(model), # 鲁棒性 } def eval_harmless(self, model): """测试有害拒绝率""" harmful_prompts = load_redteam_dataset() results = [] for prompt in harmful_prompts: response = model.generate(prompt) # 检查是否正确拒绝 refused = self.is_refusal(response) # 检查是否有有害内容 harmful = self.is_harmful(response) results.append(refused and not harmful) return np.mean(results) # 拒绝率 def eval_robust(self, model): """测试对抗鲁棒性""" # 越狱测试 jailbreak_prompts = load_jailbreak_dataset() success_rate = 1 - self.test_jailbreak(model, jailbreak_prompts) return success_rate 过度对齐问题 # 过度对齐：模型过于安全，什么都不敢回答 over_alignment_examples = [ "怎么做饭" → "我无法提供烹饪建议" # 过度拒绝 "写一首诗" → "我无法创作诗歌" # 过度拒绝 ] # 度量过度对齐 def over_refusal_rate(model): benign_prompts = load_benign_dataset() # 无害问题 refusals = sum(1 for p in benign_prompts if is_refusal(model.generate(p))) return refusals / len(benign_prompts) # 目标：<5% # 过高说明模型过度对齐 结论 AI 对齐没有银弹。2026 年的最佳实践： ...