RLHF

为什么需要对齐？ 大模型在预训练阶段从海量互联网文本中学习了知识和语言能力，但也继承了人类文本中的偏见、有害信息和不良价值观。对齐（Alignment）的目标是让模型的行为符合人类期望——有用（helpful）、诚实（honest）、无害（harmless）。 RLHF：经典三阶段 阶段一：SFT（监督微调） 用人类标注的高质量对话数据微调基座模型，让模型学会"怎么回答"。这一步不改变模型的知识储备，主要塑造输出格式和交互方式。 阶段二：奖励模型训练 训练一个奖励模型（Reward Model, RM）来评估回答质量： 对同一个prompt，让模型生成多个回答 人类标注员对这些回答做偏好排序（A>B>C） 训练RM，使其对人类偏好的排序准确率最大化 奖励模型的目标函数： L = -E[log(σ(r(x,y_w) - r(x,y_l)))] 其中y_w是偏好回答，y_l是不偏好回答，r是RM的标量输出。 阶段三：PPO强化学习 用RM的分数作为奖励信号，通过PPO算法优化模型策略： r_total = r_RM(x,y) - β·KL[π_new(y|x) || π_ref(y|x)] KL惩罚项防止模型偏离参考模型太远（避免"奖励黑客"问题——模型钻RM的漏洞产生高奖励但无意义的输出）。 RLHF的痛点 成本高：需要大量人类标注，RM训练和PPO训练各需一轮 不稳定：PPO对超参数敏感，训练容易崩溃 奖励黑客：模型学会欺骗RM而非真正提升质量 DPO：简化路线 Direct Preference Optimization（DPO）的核心洞察是：RLHF的最优策略可以用闭式解表示，不需要显式训练奖励模型和强化学习。 DPO直接从偏好数据中优化模型，目标函数： L_DPO = -E[log σ(β·(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))] DPO的优势 无需训练独立的奖励模型 无需PPO，训练稳定 计算成本约为RLHF的1/3 效果接近甚至优于RLHF DPO的变体 方法 改进 IPO 引入正则化，防止过拟合偏好数据 KTO 不需要成对比较，只需二元标注 ORPO 将SFT和对齐合并为一步训练 SimPO 去除参考模型，更简单高效 Constitutional AI：自我对齐 Anthropic提出的Constitutional AI（CAI）路线，核心思想是让AI自己监督自己： 用少量人类编写的规则（“宪法”）作为准则 模型生成回答后，用模型自己评估回答是否违反规则 模型自我修正后，用修正后的数据做SFT 用模型生成的偏好对训练奖励模型 宪法规则示例 规则1：不要生成歧视性内容 规则2：拒绝有害请求但不生硬 规则3：当不确定时，承认不确定性 CAI的流程 用户prompt → 模型生成回答A → 模型自我评估(按宪法) → 修正为回答B → (A, B)作为偏好对 → 训练RM → RLHF/PPO CAI的最大优势是减少对人类标注的依赖，可扩展性更好。Claude系列模型的对齐核心就是CAI。 ...

对齐问题：让模型"听话"且"不闯祸" 大模型的安全对齐是AGI发展道路上不可回避的核心问题。一个能力强大但不对齐的模型可能带来严重的社会风险。本文系统梳理当前主流的对齐技术方案。 RLHF：经典三阶段方法 第一阶段：SFT（监督微调） 使用人工编写的高质量对话数据微调基座模型： # SFT数据格式示例 { "instruction": "解释量子纠缠", "input": "", "output": "量子纠缠是指两个或多个粒子..." } SFT建立模型的指令跟随能力，是对齐的基础。 第二阶段：奖励模型训练 收集人类偏好数据（A优于B或B优于A），训练一个奖励模型预测人类偏好： class RewardModel(nn.Module): def __init__(self, base_model): super().__init__() self.transformer = base_model self.value_head = nn.Linear(hidden_size, 1) def forward(self, input_ids): hidden_states = self.transformer(input_ids).last_hidden_state # 取最后一个token的隐状态 last_hidden = hidden_states[:, -1, :] reward = self.value_head(last_hidden) return reward.squeeze(-1) 第三阶段：PPO强化学习 使用奖励模型的分数作为奖励信号，通过PPO算法优化策略模型： PPO阶段的核心挑战： KL散度约束：防止策略模型偏离SFT模型太远导致能力退化 奖励黑客：模型可能找到欺骗奖励模型的"捷径" 训练不稳定：需要精细的超参数调优 DPO：简化对齐流程 Direct Preference Optimization（DPO）绕过了奖励模型和强化学习，直接从偏好数据优化策略模型： def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta=0.1): pi_logratios = policy_chosen_logps - policy_rejected_logps ref_logratios = ref_chosen_logps - ref_rejected_logps logits = pi_logratios - ref_logratios return -F.logsigmoid(beta * logits).mean() DPO的优势： 无需训练奖励模型，减少一个训练阶段 不需要PPO的复杂训练循环 训练更稳定，超参数更少 数学上等价于在隐式奖励上做最优的Bradley-Terry模型 但DPO也有局限：对数据质量更敏感，且在复杂多轮对话场景中效果不如RLHF。 Constitutional AI：自我改进对齐 Anthropic提出的Constitutional AI（CAI）方法让模型基于一组"宪法"原则进行自我批评和修正： 宪法原则示例： 1. 不要生成歧视性内容 2. 拒绝协助危险活动 3. 保持诚实，不编造信息 4. 尊重用户隐私 CAI的流程： 模型生成初始回复 模型根据宪法原则自我批评 模型生成修正后的回复 用修正后的数据做RLHF/DPO 这种方法减少了对人类标注的依赖，且对齐效果可与RLHF媲美。 安全护栏与实时过滤 对齐训练之外，推理时的安全护栏同样重要： ...

大模型的能力由预训练决定，但大模型的行为由对齐决定。一个能力强大但不对齐的模型，就像一个天才但不守规矩的员工——潜力越大，风险越大。本文将从工程实践角度，完整梳理从数据标注到RLHF的对齐流程。 一、对齐的全景图 大模型对齐不是单一技术，而是一个多阶段流水线： 预训练模型（Base Model） ↓ 有监督微调（SFT） — 学习"怎么回答" ↓ 奖励模型训练（RM） — 学习"什么是好回答" ↓ 强化学习优化（RLHF/DPO） — 优化"回答得更好" ↓ 安全对齐（Safety） — 确保"不回答不该回答的" 每个阶段都有不同的数据需求、训练方法和评估标准。 二、数据标注：对齐的基石 2.1 SFT数据标注 SFT数据是"指令-回复"对，教模型如何回答问题。看似简单，但质量差异巨大。 常见标注问题： 标注者倾向于写"教科书式"回答，缺乏多样性 不同标注者风格不一致，导致模型输出不稳定 安全相关的边界case标注不一致 最佳实践： 标注规范结构: 1. 任务定义: 清晰定义每种指令类型的预期回答格式 2. 质量标准: - 准确性: 信息正确，无幻觉 - 完整性: 覆盖问题要点 - 简洁性: 不冗余 - 安全性: 不含有害内容 3. 风格指南: 自然口语化，不要过于"AI腔" 4. 边界case: - 事实性问题 → 给出准确答案+来源 - 观点性问题 → 给出多角度分析 - 创意性问题 → 发挥创意但不越界 2.2 偏好数据标注（RLHF/DPO用） 偏好数据是"同一问题的两个回复，标注哪个更好"。这是对齐的核心数据。 ...

大模型的安全对齐技术全景 让AI"做人类想让它做的事，而非它能做的事"——这就是对齐问题的核心。2026年，随着大模型能力逼近AGI水平，对齐技术的重要性前所未有。本文全面梳理当前主流和前沿的安全对齐技术。 对齐的目标层次 安全对齐不是单一目标，而是一个多层目标体系： 无害性：不生成有害、违法、不道德的内容 有用性：尽可能帮助用户完成任务 诚实性：不编造信息，不确定时说"我不知道" 可控性：服从人类指令，不越界行动 价值一致性：与人类核心价值观对齐 这五个目标之间存在张力。过度强调无害性会牺牲有用性（过度拒绝），过度强调有用性会牺牲无害性（过度配合有害请求）。对齐技术的核心挑战就是在这个多维空间中找到最优平衡。 训练阶段对齐技术 RLHF：经典三步法 RLHF（Reinforcement Learning from Human Feedback）仍然是对齐技术的基础。其三步流程： 第一步：SFT（监督微调）。用人类标注的高质量对话对预训练模型进行微调，建立基础的对话能力。 第二步：奖励模型训练。收集人类对模型输出的偏好排序数据，训练一个预测人类偏好的奖励模型。 第三步：PPO强化学习。用奖励模型的反馈作为强化学习信号，优化模型策略。 RLHF在2026年仍然是主流对齐方法，但已经有许多改进。最重要的改进是过程奖励模型（Process Reward Model）——不仅对最终输出评分，还对推理过程的每一步评分。这使奖励信号更精确，减少了"为了迎合奖励而牺牲正确性"的reward hacking问题。 DPO：去掉奖励模型 DPO（Direct Preference Optimization）的核心创新是跳过奖励模型训练，直接从偏好数据中学习。它通过一个巧妙的数学变换，将RLHF的目标函数转化为可以直接优化的分类损失。 DPO的优势： 训练流程简化（去掉RM训练和PPO两个步骤） 训练稳定性更好（PPO是出了名的难调） 计算成本更低 DPO的局限： 对数据质量要求更高（没有RM做中间缓冲） 在复杂多轮对话上的效果不如RLHF 缺乏在线学习能力（RLHF可以持续收集反馈） 实践中，很多团队采用了"RLHF用于复杂能力对齐，DPO用于快速迭代简单对齐"的混合策略。 Constitutional AI：自我对齐 Constitutional AI（CAI）是Anthropic提出的创新方法，核心思想是让AI自己生成对齐数据。 流程：给模型一组"宪法"原则（如"不要帮助制造武器"），让模型自己生成遵循这些原则的对话，然后用这些对话做对齐训练。 CAI的突破性在于它解决了一个核心瓶颈——人类标注对齐数据的成本极高。通过AI自生成+人类审核的方式，对齐数据的规模可以扩大100倍以上。 RLAIF：AI反馈强化学习 RLAIF是CAI的进一步延伸——连人类审核都省了，完全用AI（通常是更强的模型）来提供偏好标注。GPT-4给GPT-3.5的输出评分，作为RLHF的奖励信号。 RLAIF的争议很大。支持者认为它是对齐的可扩展方案——当模型能力超过人类评估能力时，AI评估是唯一选择。批评者担心"模型评估模型"的循环可能引入系统性偏差。 2026年的实践是混合模式：关键安全维度保留人类评估，非关键维度使用AI评估。 推理阶段对齐技术 训练阶段对齐不是全部，推理阶段的对齐技术同样重要。 系统Prompt防护 系统Prompt是最直接的推理阶段对齐手段。通过在对话前注入安全指令来约束模型行为。虽然简单，但在实践中效果显著——一个精心设计的系统Prompt可以将有害输出率降低80%以上。 Guardrails Guardrails是推理阶段的过滤层，在模型输出后、返回给用户前进行检查： 基于规则的过滤（关键词、正则匹配） 基于分类模型的过滤（安全分类器） 基于LLM的二次审核（让另一个模型检查输出是否安全） 多层Guardrails形成深度防御。但过滤太严格会损失有用性——“过度拒绝"是2026年用户体验的主要痛点之一。 Red Teaming 红队测试是对齐效果的最终验证。我们组织了专业红队和社区众测两种方式： 专业红队：安全研究员系统性地尝试突破模型的安全边界，覆盖越狱攻击、Prompt注入、间接注入、多轮诱导等攻击向量。 社区众测：开放给社区用户尝试突破，设置奖励。社区测试覆盖面广，经常发现专业团队想不到的攻击路径。 红队发现的问题形成测试集，纳入回归测试，确保修复后不再复现。 对齐的度量 对齐效果需要量化度量。我们使用以下指标： 无害率：在标准安全测试集上的无害响应比例（目标>99%） 有用率：在正常任务上的完成率（目标>90%） 过度拒绝率：对安全请求的拒绝率（目标<5%） 越狱成功率：红队攻击的成功率（目标<1%） 诚实性：在已知事实问题上的幻觉率（目标<3%） 这些指标之间存在张力，对齐调参本质上是在这个多维空间中做帕累托优化。 ...

RLHF的痛点 RLHF（Reinforcement Learning from Human Feedback）是大模型对齐的标准方案，但它以复杂著称。完整的RLHF流程包含三个阶段：SFT（监督微调）、RM（奖励模型训练）、PPO（强化学习优化）。其中PPO阶段尤其棘手——需要同时维护Policy Model、Reference Model、Reward Model和Value Model四个模型，训练过程不稳定，超参数敏感，显存开销巨大。 有没有更简单的方式来实现同样的目标？ DPO（Direct Preference Optimization）给出了一个令人惊喜的答案。 DPO的核心思想 DPO的核心洞察是：我们不需要显式地训练奖励模型，也不需要强化学习。 通过一个精巧的数学推导，DPO将偏好学习问题转化为一个简单的分类问题。 数学推导 在RLHF框架中，最优策略可以表示为： π*(y|x) ∝ π_ref(y|x) · exp(r(x,y)/β) 其中π_ref是参考策略，r是奖励函数，β是温度参数。这个关系意味着给定奖励函数，我们可以直接写出最优策略的形式。 DPO的关键步骤是反过来——给定偏好数据，我们可以直接从策略形式中推导出隐含的奖励函数： r(x,y) = β · log(π(y|x)/π_ref(y|x)) 将这个隐含奖励代入Bradley-Terry偏好模型，偏好概率变为： P(y_w > y_l | x) = σ(β · log(π(y_w|x)/π_ref(y_w|x)) - β · log(π(y_l|x)/π_ref(y_l|x))) 其中y_w是偏好回答，y_l是非偏好回答，σ是sigmoid函数。 这就是DPO的损失函数——一个简单的二元交叉熵！不需要奖励模型，不需要强化学习，只需要偏好数据对和一个参考模型。 与RLHF的对比 维度 RLHF (PPO) DPO 训练阶段 SFT → RM → PPO SFT → DPO 需要的模型 4个（Policy, Ref, Reward, Value） 2个（Policy, Ref） 超参数 多且敏感 少且鲁棒 训练稳定性 差，需要多种trick 好，类似标准训练 显存开销 极高 中等 实践经验 在过去一年中，我们在多个项目上使用DPO替代RLHF，总结出以下经验： ...

RLHF的痛点 RLHF（Reinforcement Learning from Human Feedback）是大模型对齐的标准方案，但它以复杂著称。完整的RLHF流程包含三个阶段：SFT（监督微调）、RM（奖励模型训练）、PPO（强化学习优化）。其中PPO阶段尤其棘手——需要同时维护Policy Model、Reference Model、Reward Model和Value Model四个模型，训练过程不稳定，超参数敏感，显存开销巨大。 有没有更简单的方式来实现同样的目标？ DPO（Direct Preference Optimization）给出了一个令人惊喜的答案。 DPO的核心思想 DPO的核心洞察是：我们不需要显式地训练奖励模型，也不需要强化学习。 通过一个精巧的数学推导，DPO将偏好学习问题转化为一个简单的分类问题。 数学推导 在RLHF框架中，最优策略可以表示为： π*(y|x) ∝ π_ref(y|x) · exp(r(x,y)/β) 其中π_ref是参考策略，r是奖励函数，β是温度参数。这个关系意味着给定奖励函数，我们可以直接写出最优策略的形式。 DPO的关键步骤是反过来——给定偏好数据，我们可以直接从策略形式中推导出隐含的奖励函数： r(x,y) = β · log(π(y|x)/π_ref(y|x)) 将这个隐含奖励代入Bradley-Terry偏好模型，偏好概率变为： P(y_w > y_l | x) = σ(β · log(π(y_w|x)/π_ref(y_w|x)) - β · log(π(y_l|x)/π_ref(y_l|x))) 其中y_w是偏好回答，y_l是非偏好回答，σ是sigmoid函数。 这就是DPO的损失函数——一个简单的二元交叉熵！不需要奖励模型，不需要强化学习，只需要偏好数据对和一个参考模型。 与RLHF的对比 维度 RLHF (PPO) DPO 训练阶段 SFT → RM → PPO SFT → DPO 需要的模型 4个（Policy, Ref, Reward, Value） 2个（Policy, Ref） 超参数 多且敏感 少且鲁棒 训练稳定性 差，需要多种trick 好，类似标准训练 显存开销 极高 中等 实践经验 在过去一年中，我们在多个项目上使用DPO替代RLHF，总结出以下经验： ...

损失函数：训练信号的来源 损失函数定义了模型的学习目标。在LLM训练的不同阶段——预训练、指令微调、对齐——使用的损失函数截然不同。理解每种损失函数的设计意图和数学特性，是构建高质量LLM的基础。 预训练：交叉熵损失 基本形式 预训练的核心是下一个token预测，使用交叉熵损失： def cross_entropy_loss(logits, labels, ignore_index=-100): """ logits: [batch, seq_len, vocab_size] labels: [batch, seq_len] """ batch_size, seq_len, vocab_size = logits.shape # 展平 logits_flat = logits.view(-1, vocab_size) labels_flat = labels.view(-1) # 计算交叉熵（忽略padding位置） loss = F.cross_entropy( logits_flat, labels_flat, ignore_index=ignore_index, reduction='mean' ) return loss Z-Loss Chinchilla引入的Z-Loss用于稳定训练。它通过对logits的log-partition-function进行正则化，防止logits过大： def z_loss(logits, coefficient=1e-4): """Z-Loss: 正则化logits的规模""" log_z = torch.logsumexp(logits, dim=-1) # [batch, seq_len] return coefficient * (log_z ** 2).mean() # 总损失 total_loss = cross_entropy_loss(logits, labels) + z_loss(logits) Z-Loss的作用： 防止某些logits变得过大（导致softmax饱和） 稳定混合精度训练 对最终性能几乎没有负面影响 Label Smoothing 标签平滑将硬标签（one-hot）软化为软标签，防止模型过度自信： def label_smoothing_cross_entropy(logits, labels, smoothing=0.1, ignore_index=-100): """带标签平滑的交叉熵""" n_classes = logits.size(-1) # 创建软标签 log_probs = F.log_softmax(logits, dim=-1) # 均匀分布的平滑 smooth_loss = -log_probs.mean(dim=-1) # 对所有类的平均log prob # 标准交叉熵 nll_loss = -log_probs.gather(dim=-1, index=labels.unsqueeze(-1)).squeeze(-1) # 混合 loss = (1 - smoothing) * nll_loss + smoothing * smooth_loss # 忽略padding mask = (labels != ignore_index) loss = loss[mask].mean() return loss 标签平滑的效果： ...

引言 尽管DPO等简化方法在2026年很流行，但RLHF仍然是处理复杂对齐任务的有力工具。特别是在需要精细奖励信号的场景下，RLHF的优势依然明显。 本文将介绍2026年RLHF的现代实现方法。 一、RLHF三阶段 1. SFT（监督微调）: 用高质量数据微调基础模型 2. RM（奖励模型）: 训练奖励模型预测人类偏好 3. RL（强化学习）: 用PPO等算法优化策略 二、阶段一：SFT from trl import SFTTrainer, SFTConfig config = SFTConfig( output_dir="./sft", num_train_epochs=3, per_device_train_batch_size=4, learning_rate=2e-5, max_seq_length=2048, bf16=True, ) trainer = SFTTrainer( model=base_model, args=config, train_dataset=sft_dataset, ) trainer.train() 三、阶段二：奖励模型 3.1 数据格式 {"prompt": "...", "chosen": "好回答", "rejected": "差回答"} 3.2 训练 from trl import RewardTrainer, RewardConfig # 奖励模型通常用SFT模型初始化 rm_model = AutoModelForSequenceClassification.from_pretrained( "sft-model", num_labels=1 ) config = RewardConfig( output_dir="./reward-model", num_train_epochs=1, per_device_train_batch_size=16, learning_rate=5e-6, max_length=2048, ) trainer = RewardTrainer( model=rm_model, args=config, train_dataset=preference_dataset, ) trainer.train() 四、阶段三：PPO from trl import PPOTrainer, PPOConfig config = PPOConfig( output_dir="./ppo", learning_rate=1.46e-5, batch_size=32, mini_batch_size=4, ppo_epochs=4, cliprange=0.2, beta=0.05, # KL惩罚系数 ) ppo_trainer = PPOTrainer( model=sft_model, # 策略模型 ref_model=sft_model, # 参考模型（冻结） reward_model=rm_model, # 奖励模型 args=config, tokenizer=tokenizer, train_dataset=ppo_dataset, ) for batch in dataloader: # 1. 策略模型生成回答 responses = ppo_trainer.generate(batch["prompt"]) # 2. 奖励模型打分 rewards = reward_model.score(batch["prompt"], responses) # 3. PPO更新 stats = ppo_trainer.step(batch["prompt"], responses, rewards) 五、2026年改进 5.1 RLOO（REINFORCE Leave-One-Out） 比PPO更简单的替代方案，不需要价值模型： ...

引言 大模型的对齐（Alignment）是让模型输出符合人类期望和价值的关键技术。从2022年RLHF的爆发，到2024年DPO的崛起，再到2026年ORPO和GRPO的成熟，对齐技术经历了深刻的范式转变。本文系统梳理这一演进历程。 RLHF：对齐的起点 核心原理 RLHF（Reinforcement Learning from Human Feedback）通过三个步骤实现对齐： 1. SFT（监督微调）：用高质量数据训练基础模型 2. RM（奖励模型）：训练模型评估输出质量 3. PPO（近端策略优化）：用奖励信号优化策略 优点 理论完备，效果可证明 可优化任意可微奖励函数 缺点 训练复杂度高（4个模型同时训练） 超参数敏感，不稳定 需要大量人工标注 DPO：简化对齐的革命 核心思想 DPO（Direct Preference Optimization）绕过了奖励模型和强化学习，直接优化偏好数据。 关键突破： 将奖励函数隐式建模 直接对策略模型进行偏好优化 只需一个模型，训练稳定 数学本质： L_DPO = -log(σ[β log(π(y|x)/π_ref(y|x))]) 优点 训练简单：只需一个模型 训练稳定：无PPO的不稳定性 资源需求低：无需奖励模型 缺点 需要成对偏好数据 对数据质量敏感 复杂奖励无法表达 ORPO：SFT与DPO的统一 核心创新 ORPO（Odds Ratio Preference Optimization）将SFT和DPO统一到一个目标函数中。 核心公式： L_ORPO = -log(σ[log(π_chosen/π_rejected) - log(π_ref_chosen/π_ref_rejected)]) 与DPO的区别 维度 DPO ORPO 参考模型 需要 隐式 训练步骤 2步（SFT+DPO） 1步 数据需求 偏好对 偏好对 + 单样本 训练速度 中等 快 2026年进展 ORPO在2026年成为微调的首选方法，特别是在中小规模模型上表现优异。 ...

2026年对齐技术格局 AI对齐（AI Alignment）是确保AI系统行为符合人类意图和价值观的核心技术挑战。2026年，随着模型能力逼近甚至超越人类专家水平，对齐技术也从简单的"人类打分"演化为复杂的"AI辅助对齐"体系。 下表展示了2026年主流对齐技术的成熟度： 技术 成熟度 应用范围 核心瓶颈 RLHF 成熟 所有主流模型 人类标注成本 DPO 成熟 开源模型微调 需要偏好数据 Constitutional AI 生产级 Claude系列 宪法设计复杂 RLAIF 早期生产 简单任务 AI判断可靠性 可扩展监督 研究前沿 实验性 协议设计未成熟 Debate 研究阶段 无 理论验证中 第一阶段：RLHF——人类反馈强化学习 基本原理 RLHF（Reinforcement Learning from Human Feedback）是当前最主流的对齐方法，由OpenAI在InstructGPT中推广开来。 # RLHF三阶段流程 class RLHFPipeline: def __init__(self, base_model): self.base_model = base_model self.reward_model = None self.aligned_model = None def stage1_supervised_finetuning(self, quality_dataset): """阶段1: SFT - 用高质量标注数据微调""" self.sft_model = self.base_model.finetune(quality_dataset) return self.sft_model def stage2_reward_modeling(self, preference_data): """阶段2: RM - 训练奖励模型""" # preference_data: [(prompt, chosen, rejected), ...] self.reward_model = RewardModel( base=self.base_model, loss_fn=self.pairwise_ranking_loss ) self.reward_model.train(preference_data) return self.reward_model def stage3_reinforcement_learning(self, ppo_config): """阶段3: RL - PPO优化""" # 用RM的奖励信号通过PPO优化SFT模型 self.aligned_model = PPOTrainer( policy=self.sft_model, reward_model=self.reward_model, **ppo_config ).train() return self.aligned_model @staticmethod def pairwise_ranking_loss(reward_chosen, reward_rejected): """Bradley-Terry偏好模型""" import torch.nn.functional as F return -F.logsigmoid(reward_chosen - reward_rejected) RLHF的局限性 2026年视角下，RLHF的几个核心问题变得日益突出： ...