引言
大模型的对齐（Alignment）是让模型输出符合人类期望和价值的关键技术。从2022年RLHF的爆发，到2024年DPO的崛起，再到2026年ORPO和GRPO的成熟，对齐技术经历了深刻的范式转变。本文系统梳理这一演进历程。
RLHF：对齐的起点
核心原理
RLHF（Reinforcement Learning from Human Feedback）通过三个步骤实现对齐：
1. SFT（监督微调）：用高质量数据训练基础模型
2. RM（奖励模型）：训练模型评估输出质量
3. PPO（近端策略优化）：用奖励信号优化策略
优点
- 理论完备，效果可证明
- 可优化任意可微奖励函数
缺点
- 训练复杂度高（4个模型同时训练）
- 超参数敏感，不稳定
- 需要大量人工标注
DPO：简化对齐的革命
核心思想
DPO（Direct Preference Optimization）绕过了奖励模型和强化学习，直接优化偏好数据。
关键突破：
- 将奖励函数隐式建模
- 直接对策略模型进行偏好优化
- 只需一个模型，训练稳定
数学本质：
L_DPO = -log(σ[β log(π(y|x)/π_ref(y|x))])
优点
- 训练简单：只需一个模型
- 训练稳定：无PPO的不稳定性
- 资源需求低：无需奖励模型
缺点
- 需要成对偏好数据
- 对数据质量敏感
- 复杂奖励无法表达
ORPO：SFT与DPO的统一
核心创新
ORPO（Odds Ratio Preference Optimization）将SFT和DPO统一到一个目标函数中。
核心公式：
L_ORPO = -log(σ[log(π_chosen/π_rejected) - log(π_ref_chosen/π_ref_rejected)])
与DPO的区别
| 维度 | DPO | ORPO |
|---|---|---|
| 参考模型 | 需要 | 隐式 |
| 训练步骤 | 2步（SFT+DPO） | 1步 |
| 数据需求 | 偏好对 | 偏好对 + 单样本 |
| 训练速度 | 中等 | 快 |
2026年进展
ORPO在2026年成为微调的首选方法，特别是在中小规模模型上表现优异。
GRPO：DeepSeek的贡献
核心原理
GRPO（Group Relative Policy Optimization）是DeepSeek提出的新方法，核心思想是：
- 对每个问题生成一组答案（Group）
- 在组内进行相对排名
- 用组内归一化的优势信号更新策略
优势：
- 不需要单独的奖励模型
- 对偏好数据质量要求低
- 支持无偏好数据的训练
2026年对齐技术全景
技术选型指南
| 场景 | 推荐方法 | 理由 |
|---|---|---|
| 大规模模型（70B+） | RLHF + PPO | 理论完备，效果最佳 |
| 中等规模（7B-34B） | DPO | 简单稳定，效果好 |
| 小规模（<7B） | ORPO | 资源效率最高 |
| 无偏好数据 | GRPO | 无需人工标注 |
| 实时对齐 | KTO | 在线学习支持 |
数据准备
对齐数据的质量直接决定最终效果：
偏好数据要求：
- 每条数据包含：输入x、优选输出y_chosen、拒绝输出y_rejected
- 建议至少1000条高质量偏好数据
- 覆盖多样化场景
数据来源：
- 人工标注（Gold Standard）
- LLM-as-Judge（低成本）
- 交叉标注（多模型投票）
训练技巧
- 温度缩放：β参数控制与参考模型的偏离程度
- 数据混合：偏好数据 + SFT数据混合训练
- 梯度裁剪：防止训练不稳定
- 学习率调度：使用warmup + cosine decay
实践：DPO微调示例
# 使用 HuggingFace TRL 进行 DPO 微调
from trl import DPOTrainer, DPOConfig
trainer = DPOTrainer(
model=model,
ref_model=ref_model,
train_dataset=dataset,
args=DPOConfig(
beta=0.1,
learning_rate=5e-7,
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
output_dir="./dpo-model",
),
)
trainer.train()
未来方向
1. 多目标对齐
同时优化多个目标（有用性、安全性、诚实性），而非单一偏好。
2. 在线对齐
实时收集用户反馈，持续更新模型的对齐状态。
3. 跨语言对齐
将英语对齐知识迁移到其他语言，特别是中文。
4. 自动偏好数据生成
用更强的模型自动生成高质量偏好数据，减少对人工标注的依赖。
结语
对齐技术正在从"复杂但有效"向"简洁且强大"演进。2026年，ORPO和GRPO代表了这一趋势，让中小团队也能实现高质量的对齐微调。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞，认知差异创造无限可能。