为什么需要对齐？
大模型在预训练阶段从海量互联网文本中学习了知识和语言能力，但也继承了人类文本中的偏见、有害信息和不良价值观。对齐（Alignment）的目标是让模型的行为符合人类期望——有用（helpful）、诚实（honest）、无害（harmless）。
RLHF：经典三阶段
阶段一：SFT（监督微调）
用人类标注的高质量对话数据微调基座模型，让模型学会"怎么回答"。这一步不改变模型的知识储备，主要塑造输出格式和交互方式。
阶段二：奖励模型训练
训练一个奖励模型（Reward Model, RM）来评估回答质量：
- 对同一个prompt，让模型生成多个回答
- 人类标注员对这些回答做偏好排序（A>B>C）
- 训练RM，使其对人类偏好的排序准确率最大化
奖励模型的目标函数：
L = -E[log(σ(r(x,y_w) - r(x,y_l)))]
其中y_w是偏好回答，y_l是不偏好回答，r是RM的标量输出。
阶段三：PPO强化学习
用RM的分数作为奖励信号，通过PPO算法优化模型策略：
r_total = r_RM(x,y) - β·KL[π_new(y|x) || π_ref(y|x)]
KL惩罚项防止模型偏离参考模型太远（避免"奖励黑客"问题——模型钻RM的漏洞产生高奖励但无意义的输出）。
RLHF的痛点
- 成本高：需要大量人类标注，RM训练和PPO训练各需一轮
- 不稳定：PPO对超参数敏感，训练容易崩溃
- 奖励黑客：模型学会欺骗RM而非真正提升质量
DPO：简化路线
Direct Preference Optimization（DPO）的核心洞察是：RLHF的最优策略可以用闭式解表示，不需要显式训练奖励模型和强化学习。
DPO直接从偏好数据中优化模型，目标函数：
L_DPO = -E[log σ(β·(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))]
DPO的优势
- 无需训练独立的奖励模型
- 无需PPO，训练稳定
- 计算成本约为RLHF的1/3
- 效果接近甚至优于RLHF
DPO的变体
| 方法 | 改进 |
|---|---|
| IPO | 引入正则化，防止过拟合偏好数据 |
| KTO | 不需要成对比较，只需二元标注 |
| ORPO | 将SFT和对齐合并为一步训练 |
| SimPO | 去除参考模型，更简单高效 |
Constitutional AI：自我对齐
Anthropic提出的Constitutional AI（CAI）路线，核心思想是让AI自己监督自己：
- 用少量人类编写的规则（“宪法”）作为准则
- 模型生成回答后，用模型自己评估回答是否违反规则
- 模型自我修正后，用修正后的数据做SFT
- 用模型生成的偏好对训练奖励模型
宪法规则示例
规则1：不要生成歧视性内容
规则2：拒绝有害请求但不生硬
规则3：当不确定时，承认不确定性
CAI的流程
用户prompt → 模型生成回答A → 模型自我评估(按宪法) → 修正为回答B
→ (A, B)作为偏好对 → 训练RM → RLHF/PPO
CAI的最大优势是减少对人类标注的依赖，可扩展性更好。Claude系列模型的对齐核心就是CAI。
对齐技术对比
| 方法 | 人类标注量 | 训练稳定性 | 效果 | 计算成本 |
|---|---|---|---|---|
| RLHF | 高 | 低 | 基准 | 最高 |
| DPO | 中 | 高 | 接近RLHF | 中 |
| KTO | 低 | 高 | 略低于DPO | 低 |
| CAI | 极低 | 中 | 优秀 | 中高 |
| ORPO | 中 | 高 | 接近DPO | 最低 |
对齐的深层挑战
对齐税（Alignment Tax）
对齐过程会损害模型的基础能力。过度对齐的模型变得"过于安全"——拒绝合理请求，回答过于保守。
分布外泛化
在训练分布外，对齐可能失效。模型可能在测试集上表现良好，但在新场景中暴露问题。
###价值观漂移
社会价值观随时间变化。今天对齐的模型在五年后可能不再符合当前价值观。需要持续的对齐更新。
实践建议
对于自研模型或开源模型的对齐：
- 预算有限：SFT + DPO，足够好的基线
- 中等预算：SFT + KTO，减少标注成本
- 充足预算：SFT + CAI + RLHF/DPO，追求最佳效果
- 极致安全：多轮对齐迭代，红队测试覆盖
总结
AI对齐正在从"RLHF一统天下"走向多样化方法论。DPO简化了训练流程，CAI降低了对人类标注的依赖。但无论技术如何演进，对齐的核心矛盾始终存在——如何在安全性和能力之间找到平衡。随着模型能力增强，对齐的重要性只会越来越高，这是一个需要持续投入的长期工程。