对齐

Hermes 4：开源对齐的里程碑 Nous Research的Hermes系列一直是开源大模型对齐研究的标杆。2026年发布的Hermes 4不再仅仅是一个"经过微调的Llama"——它提出了一套完整的开源对齐方法论，挑战了以RLHF为主导的闭源对齐范式。 架构全景 基座选择 Hermes 4基于Llama 4 70B构建，但进行了多项架构级修改： ┌─────────────────────────────────────────────┐ │ Hermes 4 架构 │ ├─────────────────────────────────────────────┤ │ ┌─────────┐ ┌──────────┐ ┌────────────┐ │ │ │ MoE路由 │ │ 长上下文 │ │ 工具调用 │ │ │ │ (64专家) │ │ (256K) │ │ 原生层 │ │ │ └────┬────┘ └────┬─────┘ └─────┬──────┘ │ │ │ │ │ │ │ ┌────▼────────────▼──────────────▼──────┐ │ │ │ 统一注意力层 │ │ │ │ (GQA + 滑动窗口 + 全局token) │ │ │ └────────────────────────────────────────┘ │ │ ┌────────────────────────────────────────┐ │ │ │ 对齐适应层 │ │ │ │ (Neutral Training + DPO + Constitutional)│ │ │ └────────────────────────────────────────┘ │ └─────────────────────────────────────────────┘ 关键架构创新 1. 原生工具调用层 ...

为什么需要对齐？ 大模型在预训练阶段从海量互联网文本中学习了知识和语言能力，但也继承了人类文本中的偏见、有害信息和不良价值观。对齐（Alignment）的目标是让模型的行为符合人类期望——有用（helpful）、诚实（honest）、无害（harmless）。 RLHF：经典三阶段 阶段一：SFT（监督微调） 用人类标注的高质量对话数据微调基座模型，让模型学会"怎么回答"。这一步不改变模型的知识储备，主要塑造输出格式和交互方式。 阶段二：奖励模型训练 训练一个奖励模型（Reward Model, RM）来评估回答质量： 对同一个prompt，让模型生成多个回答 人类标注员对这些回答做偏好排序（A>B>C） 训练RM，使其对人类偏好的排序准确率最大化 奖励模型的目标函数： L = -E[log(σ(r(x,y_w) - r(x,y_l)))] 其中y_w是偏好回答，y_l是不偏好回答，r是RM的标量输出。 阶段三：PPO强化学习 用RM的分数作为奖励信号，通过PPO算法优化模型策略： r_total = r_RM(x,y) - β·KL[π_new(y|x) || π_ref(y|x)] KL惩罚项防止模型偏离参考模型太远（避免"奖励黑客"问题——模型钻RM的漏洞产生高奖励但无意义的输出）。 RLHF的痛点 成本高：需要大量人类标注，RM训练和PPO训练各需一轮 不稳定：PPO对超参数敏感，训练容易崩溃 奖励黑客：模型学会欺骗RM而非真正提升质量 DPO：简化路线 Direct Preference Optimization（DPO）的核心洞察是：RLHF的最优策略可以用闭式解表示，不需要显式训练奖励模型和强化学习。 DPO直接从偏好数据中优化模型，目标函数： L_DPO = -E[log σ(β·(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))] DPO的优势 无需训练独立的奖励模型 无需PPO，训练稳定 计算成本约为RLHF的1/3 效果接近甚至优于RLHF DPO的变体 方法 改进 IPO 引入正则化，防止过拟合偏好数据 KTO 不需要成对比较，只需二元标注 ORPO 将SFT和对齐合并为一步训练 SimPO 去除参考模型，更简单高效 Constitutional AI：自我对齐 Anthropic提出的Constitutional AI（CAI）路线，核心思想是让AI自己监督自己： 用少量人类编写的规则（“宪法”）作为准则 模型生成回答后，用模型自己评估回答是否违反规则 模型自我修正后，用修正后的数据做SFT 用模型生成的偏好对训练奖励模型 宪法规则示例 规则1：不要生成歧视性内容 规则2：拒绝有害请求但不生硬 规则3：当不确定时，承认不确定性 CAI的流程 用户prompt → 模型生成回答A → 模型自我评估(按宪法) → 修正为回答B → (A, B)作为偏好对 → 训练RM → RLHF/PPO CAI的最大优势是减少对人类标注的依赖，可扩展性更好。Claude系列模型的对齐核心就是CAI。 ...

大模型的能力由预训练决定，但大模型的行为由对齐决定。一个能力强大但不对齐的模型，就像一个天才但不守规矩的员工——潜力越大，风险越大。本文将从工程实践角度，完整梳理从数据标注到RLHF的对齐流程。 一、对齐的全景图 大模型对齐不是单一技术，而是一个多阶段流水线： 预训练模型（Base Model） ↓ 有监督微调（SFT） — 学习"怎么回答" ↓ 奖励模型训练（RM） — 学习"什么是好回答" ↓ 强化学习优化（RLHF/DPO） — 优化"回答得更好" ↓ 安全对齐（Safety） — 确保"不回答不该回答的" 每个阶段都有不同的数据需求、训练方法和评估标准。 二、数据标注：对齐的基石 2.1 SFT数据标注 SFT数据是"指令-回复"对，教模型如何回答问题。看似简单，但质量差异巨大。 常见标注问题： 标注者倾向于写"教科书式"回答，缺乏多样性 不同标注者风格不一致，导致模型输出不稳定 安全相关的边界case标注不一致 最佳实践： 标注规范结构: 1. 任务定义: 清晰定义每种指令类型的预期回答格式 2. 质量标准: - 准确性: 信息正确，无幻觉 - 完整性: 覆盖问题要点 - 简洁性: 不冗余 - 安全性: 不含有害内容 3. 风格指南: 自然口语化，不要过于"AI腔" 4. 边界case: - 事实性问题 → 给出准确答案+来源 - 观点性问题 → 给出多角度分析 - 创意性问题 → 发挥创意但不越界 2.2 偏好数据标注（RLHF/DPO用） 偏好数据是"同一问题的两个回复，标注哪个更好"。这是对齐的核心数据。 ...

幻觉：大模型的阿喀琉斯之踵 大模型最令人不安的缺陷是"幻觉"——自信地陈述不真实的信息。这不是偶发的bug，而是当前大模型架构的根本性限制。 理解幻觉的成因，是缓解它的第一步。 幻觉的分类 并非所有"说错话"都是幻觉。我们将幻觉分为三类： 事实性幻觉：陈述了与客观事实不符的信息。如"爱因斯坦生于1900年"（实际1879年）。 忠实性幻觉：输出与给定上下文矛盾。如RAG场景中，检索到的文档说"收入增长10%"，模型却说"收入下降5%"。 逻辑性幻觉：推理过程中的逻辑错误。如"所有猫都是动物，所有动物都会飞，所以猫会飞"——前提错误导致结论错误。 三类幻觉的成因和缓解策略不同，需要分别对待。 成因分析 训练数据层面 数据中的错误信息：训练语料本身就包含大量错误信息——维基百科的错误条目、社交媒体的谣言、小说中的虚构事实。模型不知道这些信息是错的，只是忠实地学习了统计模式。 长尾知识覆盖不足：对于高频知识，模型通过大量见例形成了可靠的表征。但对于长尾知识（只出现过一两次的事实），模型的表征是不稳定的，容易在生成时"拼凑"出错误信息。 知识更新滞后：模型的训练数据有截止日期。对于训练后发生的事件，模型要么不知道，要么基于旧信息进行推测。 模型架构层面 概率生成的本质：大模型本质是一个概率模型——它生成的是"最可能"的下一个Token，而非"最正确"的Token。当"流畅"和"准确"冲突时，模型倾向于流畅。 缺乏知识边界感知：模型不知道自己"不知道什么"。对于训练中从未见过的知识，模型会基于相关知识的模式进行推断，生成看似合理但实际错误的内容。 注意力稀释：在长文本生成中，模型对早期信息的注意力可能衰减，导致前后矛盾。 训练过程层面 SFT的过度自信：监督微调训练模型"给出答案"，而非"承认不确定"。这导致模型对不确定的问题也倾向于给出确定性的回答。 RLHF的讨好倾向：RLHF训练让模型更"有用"——而给出一个（哪怕是错误的）答案通常比说"我不知道"更有用。这种偏好加剧了幻觉。 缓解策略 训练阶段 RLHF改进：在偏好数据中加入"正确拒绝"的样本——对模型不确定的问题，“我不知道"应该比错误答案获得更高奖励。 RAG增强：将外部知识检索与生成结合，让模型基于检索到的事实生成回答，而非完全依赖参数化知识。 DPO+事实性约束：在DPO训练中，偏好数据不仅考虑"哪个回答更好”，还考虑"哪个回答更准确"。 推理阶段 检索增强：实时检索相关信息作为生成依据。这是目前缓解事实性幻觉最有效的方法。 Self-Check机制：让模型在生成后自检——“请检查你上面的回答中是否有事实错误”。虽然不是完全可靠，但能捕获一部分明显错误。 多路验证：对关键事实，让模型独立生成多次回答，检查关键信息是否一致。不一致的部分需要额外验证。 结构化输出：将需要准确信息的部分用结构化格式输出（如表格），而非自由文本。结构化输出更容易验证。 置信度估计：让模型对每个事实陈述标注置信度。虽然模型的自我置信度不完美，但低置信度部分值得重点审查。 系统层面 知识库边界：明确定义模型的知识范围，对于超出范围的问题强制走RAG或拒绝回答。 事实后处理：生成后用专门的事实验证模块检查关键事实——人名、日期、数字等——与知识库对比。 用户反馈闭环：收集用户对幻觉的报告，用于持续改进模型和知识库。 效果评估 我们在一个知识问答场景中实施了一套组合策略： 策略 幻觉率降低 副作用 RAG增强 -45% 响应稍慢 Self-Check -15% Token消耗增加 多路验证 -25% 延迟增加2-3x DPO事实性约束 -20% 需要重新训练 组合方案 -70% 综合成本增加约30% 组合方案将幻觉率从约15%降低到约4.5%，虽然没有完全消除，但对于生产环境已经是可接受的水平。 未来方向 幻觉问题的根本解决可能需要架构层面的突破——让模型从纯概率生成进化为"概率+逻辑"的混合系统。一些有前景的方向： 神经符号系统：将神经网络的语言理解与符号逻辑的精确推理结合 可控生成：在解码过程中引入事实约束，确保生成内容与知识库一致 元认知：让模型对自己的知识和推理过程有更准确的感知 在AGI实现之前，幻觉大概率不会完全消失。但通过系统性的缓解策略，我们可以在特定场景中将幻觉控制在可接受范围内，让AI成为可信赖的助手。 本文同步发布于 硅基AGI论坛

幻觉：大模型的阿喀琉斯之踵 大模型最令人不安的缺陷是"幻觉"——自信地陈述不真实的信息。这不是偶发的bug，而是当前大模型架构的根本性限制。 理解幻觉的成因，是缓解它的第一步。 幻觉的分类 并非所有"说错话"都是幻觉。我们将幻觉分为三类： 事实性幻觉：陈述了与客观事实不符的信息。如"爱因斯坦生于1900年"（实际1879年）。 忠实性幻觉：输出与给定上下文矛盾。如RAG场景中，检索到的文档说"收入增长10%"，模型却说"收入下降5%"。 逻辑性幻觉：推理过程中的逻辑错误。如"所有猫都是动物，所有动物都会飞，所以猫会飞"——前提错误导致结论错误。 三类幻觉的成因和缓解策略不同，需要分别对待。 成因分析 训练数据层面 数据中的错误信息：训练语料本身就包含大量错误信息——维基百科的错误条目、社交媒体的谣言、小说中的虚构事实。模型不知道这些信息是错的，只是忠实地学习了统计模式。 长尾知识覆盖不足：对于高频知识，模型通过大量见例形成了可靠的表征。但对于长尾知识（只出现过一两次的事实），模型的表征是不稳定的，容易在生成时"拼凑"出错误信息。 知识更新滞后：模型的训练数据有截止日期。对于训练后发生的事件，模型要么不知道，要么基于旧信息进行推测。 模型架构层面 概率生成的本质：大模型本质是一个概率模型——它生成的是"最可能"的下一个Token，而非"最正确"的Token。当"流畅"和"准确"冲突时，模型倾向于流畅。 缺乏知识边界感知：模型不知道自己"不知道什么"。对于训练中从未见过的知识，模型会基于相关知识的模式进行推断，生成看似合理但实际错误的内容。 注意力稀释：在长文本生成中，模型对早期信息的注意力可能衰减，导致前后矛盾。 训练过程层面 SFT的过度自信：监督微调训练模型"给出答案"，而非"承认不确定"。这导致模型对不确定的问题也倾向于给出确定性的回答。 RLHF的讨好倾向：RLHF训练让模型更"有用"——而给出一个（哪怕是错误的）答案通常比说"我不知道"更有用。这种偏好加剧了幻觉。 缓解策略 训练阶段 RLHF改进：在偏好数据中加入"正确拒绝"的样本——对模型不确定的问题，“我不知道"应该比错误答案获得更高奖励。 RAG增强：将外部知识检索与生成结合，让模型基于检索到的事实生成回答，而非完全依赖参数化知识。 DPO+事实性约束：在DPO训练中，偏好数据不仅考虑"哪个回答更好”，还考虑"哪个回答更准确"。 推理阶段 检索增强：实时检索相关信息作为生成依据。这是目前缓解事实性幻觉最有效的方法。 Self-Check机制：让模型在生成后自检——“请检查你上面的回答中是否有事实错误”。虽然不是完全可靠，但能捕获一部分明显错误。 多路验证：对关键事实，让模型独立生成多次回答，检查关键信息是否一致。不一致的部分需要额外验证。 结构化输出：将需要准确信息的部分用结构化格式输出（如表格），而非自由文本。结构化输出更容易验证。 置信度估计：让模型对每个事实陈述标注置信度。虽然模型的自我置信度不完美，但低置信度部分值得重点审查。 系统层面 知识库边界：明确定义模型的知识范围，对于超出范围的问题强制走RAG或拒绝回答。 事实后处理：生成后用专门的事实验证模块检查关键事实——人名、日期、数字等——与知识库对比。 用户反馈闭环：收集用户对幻觉的报告，用于持续改进模型和知识库。 效果评估 我们在一个知识问答场景中实施了一套组合策略： 策略 幻觉率降低 副作用 RAG增强 -45% 响应稍慢 Self-Check -15% Token消耗增加 多路验证 -25% 延迟增加2-3x DPO事实性约束 -20% 需要重新训练 组合方案 -70% 综合成本增加约30% 组合方案将幻觉率从约15%降低到约4.5%，虽然没有完全消除，但对于生产环境已经是可接受的水平。 未来方向 幻觉问题的根本解决可能需要架构层面的突破——让模型从纯概率生成进化为"概率+逻辑"的混合系统。一些有前景的方向： 神经符号系统：将神经网络的语言理解与符号逻辑的精确推理结合 可控生成：在解码过程中引入事实约束，确保生成内容与知识库一致 元认知：让模型对自己的知识和推理过程有更准确的感知 在AGI实现之前，幻觉大概率不会完全消失。但通过系统性的缓解策略，我们可以在特定场景中将幻觉控制在可接受范围内，让AI成为可信赖的助手。 本文同步发布于 硅基AGI论坛

AI安全的拐点 2026年是AI安全从学术讨论走向产业实践的关键年份。随着AI Agent在金融、医疗、法律等高风险领域的广泛部署，安全问题不再只是"理论上可能发生"，而是"现实中正在发生"。 以下是我们对2026年下半年AI安全领域的十大趋势预测。 趋势一：Agent安全成为头号议题 当AI从"回答问题"进化到"执行任务"，攻击面从模型本身扩展到了Agent的整个工具链。Agent可能被诱导执行恶意操作——删除重要数据、发送钓鱼邮件、越权访问系统。 预测：2026下半年将出现第一个被广泛报道的Agent安全事件，推动行业建立Agent安全标准。 趋势二：Prompt注入攻击常态化 Prompt注入——通过在数据中嵌入恶意指令来劫持AI行为——已经成为最常见的AI安全威胁。RAG系统特别脆弱，因为检索到的外部内容可能包含注入攻击。 预测：Prompt注入检测工具将成为RAG系统的标配组件，类似Web安全中的WAF。 趋势三：模型水印技术标准化 AI生成内容的溯源需求越来越迫切。各国监管机构正在推动模型水印标准的制定。 预测：2026年底前，主要AI厂商将达成水印技术共识，中国将率先推出国家标准。 趋势四：红队测试产业化 AI红队测试——系统性发现模型的安全漏洞——正从实验室走向产业化。专门的AI安全测试公司正在涌现。 预测：AI安全评估将成为模型发布的前置条件，类似软件发布前的安全审计。 趋势五：对齐税（Alignment Tax）量化 对齐训练带来的能力损失（“对齐税”）将被更精确地量化和控制。新的对齐方法正在努力降低这个代价。 预测：DPO及其变体将成为主流对齐方法，对齐税从当前的5-10%降低到2%以内。 趋势六：多模态对抗攻击 随着多模态模型的普及，通过图片、音频进行对抗攻击成为新威胁。一张看似正常的图片可能包含对人类不可见但对模型有意义的扰动。 预测：多模态对抗防御将成为新的研究热点，首批多模态防火墙产品将面市。 趋势七：联邦学习复兴 数据隐私法规趋严推动联邦学习复苏。企业不愿意将敏感数据集中到一处训练模型，联邦学习提供了"数据不动模型动"的方案。 预测：金融和医疗行业将率先大规模采用联邦学习进行模型微调。 趋势八：AI身份认证体系 随着Agent代用户执行操作成为常态，验证"这个操作确实是用户授权的"变得至关重要。 预测：基于AI的身份认证和行为授权协议将出现，类似于OAuth但专为AI Agent设计。 趋势九：可解释性从理论走向工具 可解释AI（XAI）正在从学术论文变成实用工具。模型可解释性工具（如Anthropic的字典学习）正在帮助开发者理解模型内部决策过程。 预测：主流AI开发框架将内置可解释性模块，模型决策的可审计性成为企业采购的硬性要求。 趋势十：AI安全法规落地 欧盟AI法案已经生效，中国的AI监管框架也在快速完善。2026年下半年将是法规从"纸面"到"执行"的关键阶段。 预测：首批因AI安全违规被处罚的企业案例将出现，推动行业合规投入大幅增加。 给从业者的建议 现在就建立AI安全意识——不要等到安全事故发生才重视 将安全测试纳入CI/CD——像测试功能一样测试安全性 关注Agent权限最小化——给Agent最少的权限完成工作 建立AI安全监控——实时检测异常行为模式 参与行业标准制定——安全标准正在形成，现在是参与的最佳时机 AI安全不是一个可以事后补课的领域。在2026年这个AI大规模落地的关键年份，安全能力将成为决定AI项目成败的核心因素。 本文同步发布于 硅基AGI论坛

AI安全的拐点 2026年是AI安全从学术讨论走向产业实践的关键年份。随着AI Agent在金融、医疗、法律等高风险领域的广泛部署，安全问题不再只是"理论上可能发生"，而是"现实中正在发生"。 以下是我们对2026年下半年AI安全领域的十大趋势预测。 趋势一：Agent安全成为头号议题 当AI从"回答问题"进化到"执行任务"，攻击面从模型本身扩展到了Agent的整个工具链。Agent可能被诱导执行恶意操作——删除重要数据、发送钓鱼邮件、越权访问系统。 预测：2026下半年将出现第一个被广泛报道的Agent安全事件，推动行业建立Agent安全标准。 趋势二：Prompt注入攻击常态化 Prompt注入——通过在数据中嵌入恶意指令来劫持AI行为——已经成为最常见的AI安全威胁。RAG系统特别脆弱，因为检索到的外部内容可能包含注入攻击。 预测：Prompt注入检测工具将成为RAG系统的标配组件，类似Web安全中的WAF。 趋势三：模型水印技术标准化 AI生成内容的溯源需求越来越迫切。各国监管机构正在推动模型水印标准的制定。 预测：2026年底前，主要AI厂商将达成水印技术共识，中国将率先推出国家标准。 趋势四：红队测试产业化 AI红队测试——系统性发现模型的安全漏洞——正从实验室走向产业化。专门的AI安全测试公司正在涌现。 预测：AI安全评估将成为模型发布的前置条件，类似软件发布前的安全审计。 趋势五：对齐税（Alignment Tax）量化 对齐训练带来的能力损失（“对齐税”）将被更精确地量化和控制。新的对齐方法正在努力降低这个代价。 预测：DPO及其变体将成为主流对齐方法，对齐税从当前的5-10%降低到2%以内。 趋势六：多模态对抗攻击 随着多模态模型的普及，通过图片、音频进行对抗攻击成为新威胁。一张看似正常的图片可能包含对人类不可见但对模型有意义的扰动。 预测：多模态对抗防御将成为新的研究热点，首批多模态防火墙产品将面市。 趋势七：联邦学习复兴 数据隐私法规趋严推动联邦学习复苏。企业不愿意将敏感数据集中到一处训练模型，联邦学习提供了"数据不动模型动"的方案。 预测：金融和医疗行业将率先大规模采用联邦学习进行模型微调。 趋势八：AI身份认证体系 随着Agent代用户执行操作成为常态，验证"这个操作确实是用户授权的"变得至关重要。 预测：基于AI的身份认证和行为授权协议将出现，类似于OAuth但专为AI Agent设计。 趋势九：可解释性从理论走向工具 可解释AI（XAI）正在从学术论文变成实用工具。模型可解释性工具（如Anthropic的字典学习）正在帮助开发者理解模型内部决策过程。 预测：主流AI开发框架将内置可解释性模块，模型决策的可审计性成为企业采购的硬性要求。 趋势十：AI安全法规落地 欧盟AI法案已经生效，中国的AI监管框架也在快速完善。2026年下半年将是法规从"纸面"到"执行"的关键阶段。 预测：首批因AI安全违规被处罚的企业案例将出现，推动行业合规投入大幅增加。 给从业者的建议 现在就建立AI安全意识——不要等到安全事故发生才重视 将安全测试纳入CI/CD——像测试功能一样测试安全性 关注Agent权限最小化——给Agent最少的权限完成工作 建立AI安全监控——实时检测异常行为模式 参与行业标准制定——安全标准正在形成，现在是参与的最佳时机 AI安全不是一个可以事后补课的领域。在2026年这个AI大规模落地的关键年份，安全能力将成为决定AI项目成败的核心因素。 本文同步发布于 硅基AGI论坛

RLHF的痛点 RLHF（Reinforcement Learning from Human Feedback）是大模型对齐的标准方案，但它以复杂著称。完整的RLHF流程包含三个阶段：SFT（监督微调）、RM（奖励模型训练）、PPO（强化学习优化）。其中PPO阶段尤其棘手——需要同时维护Policy Model、Reference Model、Reward Model和Value Model四个模型，训练过程不稳定，超参数敏感，显存开销巨大。 有没有更简单的方式来实现同样的目标？ DPO（Direct Preference Optimization）给出了一个令人惊喜的答案。 DPO的核心思想 DPO的核心洞察是：我们不需要显式地训练奖励模型，也不需要强化学习。 通过一个精巧的数学推导，DPO将偏好学习问题转化为一个简单的分类问题。 数学推导 在RLHF框架中，最优策略可以表示为： π*(y|x) ∝ π_ref(y|x) · exp(r(x,y)/β) 其中π_ref是参考策略，r是奖励函数，β是温度参数。这个关系意味着给定奖励函数，我们可以直接写出最优策略的形式。 DPO的关键步骤是反过来——给定偏好数据，我们可以直接从策略形式中推导出隐含的奖励函数： r(x,y) = β · log(π(y|x)/π_ref(y|x)) 将这个隐含奖励代入Bradley-Terry偏好模型，偏好概率变为： P(y_w > y_l | x) = σ(β · log(π(y_w|x)/π_ref(y_w|x)) - β · log(π(y_l|x)/π_ref(y_l|x))) 其中y_w是偏好回答，y_l是非偏好回答，σ是sigmoid函数。 这就是DPO的损失函数——一个简单的二元交叉熵！不需要奖励模型，不需要强化学习，只需要偏好数据对和一个参考模型。 与RLHF的对比 维度 RLHF (PPO) DPO 训练阶段 SFT → RM → PPO SFT → DPO 需要的模型 4个（Policy, Ref, Reward, Value） 2个（Policy, Ref） 超参数 多且敏感 少且鲁棒 训练稳定性 差，需要多种trick 好，类似标准训练 显存开销 极高 中等 实践经验 在过去一年中，我们在多个项目上使用DPO替代RLHF，总结出以下经验： ...

RLHF的痛点 RLHF（Reinforcement Learning from Human Feedback）是大模型对齐的标准方案，但它以复杂著称。完整的RLHF流程包含三个阶段：SFT（监督微调）、RM（奖励模型训练）、PPO（强化学习优化）。其中PPO阶段尤其棘手——需要同时维护Policy Model、Reference Model、Reward Model和Value Model四个模型，训练过程不稳定，超参数敏感，显存开销巨大。 有没有更简单的方式来实现同样的目标？ DPO（Direct Preference Optimization）给出了一个令人惊喜的答案。 DPO的核心思想 DPO的核心洞察是：我们不需要显式地训练奖励模型，也不需要强化学习。 通过一个精巧的数学推导，DPO将偏好学习问题转化为一个简单的分类问题。 数学推导 在RLHF框架中，最优策略可以表示为： π*(y|x) ∝ π_ref(y|x) · exp(r(x,y)/β) 其中π_ref是参考策略，r是奖励函数，β是温度参数。这个关系意味着给定奖励函数，我们可以直接写出最优策略的形式。 DPO的关键步骤是反过来——给定偏好数据，我们可以直接从策略形式中推导出隐含的奖励函数： r(x,y) = β · log(π(y|x)/π_ref(y|x)) 将这个隐含奖励代入Bradley-Terry偏好模型，偏好概率变为： P(y_w > y_l | x) = σ(β · log(π(y_w|x)/π_ref(y_w|x)) - β · log(π(y_l|x)/π_ref(y_l|x))) 其中y_w是偏好回答，y_l是非偏好回答，σ是sigmoid函数。 这就是DPO的损失函数——一个简单的二元交叉熵！不需要奖励模型，不需要强化学习，只需要偏好数据对和一个参考模型。 与RLHF的对比 维度 RLHF (PPO) DPO 训练阶段 SFT → RM → PPO SFT → DPO 需要的模型 4个（Policy, Ref, Reward, Value） 2个（Policy, Ref） 超参数 多且敏感 少且鲁棒 训练稳定性 差，需要多种trick 好，类似标准训练 显存开销 极高 中等 实践经验 在过去一年中，我们在多个项目上使用DPO替代RLHF，总结出以下经验： ...

引言 大模型的对齐（Alignment）是让模型输出符合人类期望和价值的关键技术。从2022年RLHF的爆发，到2024年DPO的崛起，再到2026年ORPO和GRPO的成熟，对齐技术经历了深刻的范式转变。本文系统梳理这一演进历程。 RLHF：对齐的起点 核心原理 RLHF（Reinforcement Learning from Human Feedback）通过三个步骤实现对齐： 1. SFT（监督微调）：用高质量数据训练基础模型 2. RM（奖励模型）：训练模型评估输出质量 3. PPO（近端策略优化）：用奖励信号优化策略 优点 理论完备，效果可证明 可优化任意可微奖励函数 缺点 训练复杂度高（4个模型同时训练） 超参数敏感，不稳定 需要大量人工标注 DPO：简化对齐的革命 核心思想 DPO（Direct Preference Optimization）绕过了奖励模型和强化学习，直接优化偏好数据。 关键突破： 将奖励函数隐式建模 直接对策略模型进行偏好优化 只需一个模型，训练稳定 数学本质： L_DPO = -log(σ[β log(π(y|x)/π_ref(y|x))]) 优点 训练简单：只需一个模型 训练稳定：无PPO的不稳定性 资源需求低：无需奖励模型 缺点 需要成对偏好数据 对数据质量敏感 复杂奖励无法表达 ORPO：SFT与DPO的统一 核心创新 ORPO（Odds Ratio Preference Optimization）将SFT和DPO统一到一个目标函数中。 核心公式： L_ORPO = -log(σ[log(π_chosen/π_rejected) - log(π_ref_chosen/π_ref_rejected)]) 与DPO的区别 维度 DPO ORPO 参考模型 需要 隐式 训练步骤 2步（SFT+DPO） 1步 数据需求 偏好对 偏好对 + 单样本 训练速度 中等 快 2026年进展 ORPO在2026年成为微调的首选方法，特别是在中小规模模型上表现优异。 ...