SimPO

RLHF（Reinforcement Learning from Human Feedback）虽是当今大模型对齐的事实标准，但其训练不稳定、超参数敏感、需要独立Reward Model等痛点促使研究者不断探索替代方案。到2026年，DPO、GRPO、SimPO三大方案已在不同场景下展现出各自优势。 1. RLHF的核心痛点 标准RLHF流程包含三个阶段：SFT → Reward Model训练 → PPO强化学习。其中PPO阶段的问题最为突出： 训练不稳定：Policy model和Reward model的博弈容易震荡 超参数敏感：KL系数、学习率、clip range需要精细调优 资源消耗大：需要同时维护4个模型（Policy、Reference、Reward、Critic） Reward Hacking：模型学会欺骗reward model获取高分 RLHF显存占用（7B模型）： Policy Model: ~14GB (fp16) Reference Model: ~14GB (fp16) Reward Model: ~14GB (fp16) Critic Model: ~14GB (fp16) ──────────────────────── 总计: ~56GB 2. DPO：Direct Preference Optimization 2.1 核心思想 DPO的洞见是：不需要显式训练Reward Model。通过重参数化，直接从偏好数据中优化策略模型。 推导过程从RLHF的目标函数出发： $$\max_{\pi_\theta} \mathbb{E}{x \sim \mathcal{D}, y \sim \pi\theta}[r(x,y)] - \beta \mathbb{D}{KL}[\pi\theta(\cdot|x) | \pi_{ref}(\cdot|x)]$$ 其最优解为： $$r(x,y) = \beta \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$$ ...

引言 强化学习从人类反馈（RLHF）是让大语言模型与人类偏好对齐的关键技术。然而，传统RLHF采用PPO算法，训练过程不稳定、超参数敏感、工程实现复杂。2023-2026年间，一系列RLHF替代方案涌现，它们通过不同的数学推导简化了偏好对齐过程。本文将系统对比DPO、GRPO、SimPO等主流方案。 RLHF回顾：PPO的标准流程 标准RLHF包含三个阶段： SFT（监督微调）：在高质量对话数据上微调基座模型 RM（奖励模型训练）：训练奖励模型 $r_\phi(x, y)$ 拟合人类偏好 PPO（强化学习优化）：用奖励模型的分数作为奖励信号优化策略 PPO的目标函数： $$ \max_{\pi_\theta} \mathbb{E}{x \sim \mathcal{D}, y \sim \pi\theta(\cdot|x)} \left[ r_\phi(x, y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right] $$ 其中 $\beta$ 是KL散度惩罚系数，防止策略偏离参考模型太远。 PPO的痛点： 需要4个模型同时加载（策略模型、参考模型、奖励模型、价值模型） 训练不稳定，需要精细的超参数调优 奖励模型与策略模型训练目标不一致 工程实现复杂，训练效率低 DPO：直接偏好优化 核心思想 DPO（Direct Preference Optimization）的关键洞察是：RLHF的最优解有闭式表达。通过数学推导，可以将奖励函数用策略模型本身表示，从而跳过奖励模型训练和强化学习。 数学推导 RLHF的最优策略为： $$ \pi^*(y|x) = \frac{\pi_{\text{ref}}(y|x) \exp\left(\frac{r(x, y)}{\beta}\right)}{Z(x)} $$ 反解得到： $$ r(x, y) = \beta \log \frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x) $$ 代入Bradley-Terry偏好模型： $$ p(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l)) $$ ...