ORPO

引言 大模型的对齐（Alignment）是让模型输出符合人类期望和价值的关键技术。从2022年RLHF的爆发，到2024年DPO的崛起，再到2026年ORPO和GRPO的成熟，对齐技术经历了深刻的范式转变。本文系统梳理这一演进历程。 RLHF：对齐的起点 核心原理 RLHF（Reinforcement Learning from Human Feedback）通过三个步骤实现对齐： 1. SFT（监督微调）：用高质量数据训练基础模型 2. RM（奖励模型）：训练模型评估输出质量 3. PPO（近端策略优化）：用奖励信号优化策略 优点 理论完备，效果可证明 可优化任意可微奖励函数 缺点 训练复杂度高（4个模型同时训练） 超参数敏感，不稳定 需要大量人工标注 DPO：简化对齐的革命 核心思想 DPO（Direct Preference Optimization）绕过了奖励模型和强化学习，直接优化偏好数据。 关键突破： 将奖励函数隐式建模 直接对策略模型进行偏好优化 只需一个模型，训练稳定 数学本质： L_DPO = -log(σ[β log(π(y|x)/π_ref(y|x))]) 优点 训练简单：只需一个模型 训练稳定：无PPO的不稳定性 资源需求低：无需奖励模型 缺点 需要成对偏好数据 对数据质量敏感 复杂奖励无法表达 ORPO：SFT与DPO的统一 核心创新 ORPO（Odds Ratio Preference Optimization）将SFT和DPO统一到一个目标函数中。 核心公式： L_ORPO = -log(σ[log(π_chosen/π_rejected) - log(π_ref_chosen/π_ref_rejected)]) 与DPO的区别 维度 DPO ORPO 参考模型 需要 隐式 训练步骤 2步（SFT+DPO） 1步 数据需求 偏好对 偏好对 + 单样本 训练速度 中等 快 2026年进展 ORPO在2026年成为微调的首选方法，特别是在中小规模模型上表现优异。 ...