对齐

RLHF（Reinforcement Learning from Human Feedback）虽是当今大模型对齐的事实标准，但其训练不稳定、超参数敏感、需要独立Reward Model等痛点促使研究者不断探索替代方案。到2026年，DPO、GRPO、SimPO三大方案已在不同场景下展现出各自优势。 1. RLHF的核心痛点 标准RLHF流程包含三个阶段：SFT → Reward Model训练 → PPO强化学习。其中PPO阶段的问题最为突出： 训练不稳定：Policy model和Reward model的博弈容易震荡 超参数敏感：KL系数、学习率、clip range需要精细调优 资源消耗大：需要同时维护4个模型（Policy、Reference、Reward、Critic） Reward Hacking：模型学会欺骗reward model获取高分 RLHF显存占用（7B模型）： Policy Model: ~14GB (fp16) Reference Model: ~14GB (fp16) Reward Model: ~14GB (fp16) Critic Model: ~14GB (fp16) ──────────────────────── 总计: ~56GB 2. DPO：Direct Preference Optimization 2.1 核心思想 DPO的洞见是：不需要显式训练Reward Model。通过重参数化，直接从偏好数据中优化策略模型。 推导过程从RLHF的目标函数出发： $$\max_{\pi_\theta} \mathbb{E}{x \sim \mathcal{D}, y \sim \pi\theta}[r(x,y)] - \beta \mathbb{D}{KL}[\pi\theta(\cdot|x) | \pi_{ref}(\cdot|x)]$$ 其最优解为： $$r(x,y) = \beta \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$$ ...

引言 强化学习从人类反馈（RLHF）是让大语言模型与人类偏好对齐的关键技术。然而，传统RLHF采用PPO算法，训练过程不稳定、超参数敏感、工程实现复杂。2023-2026年间，一系列RLHF替代方案涌现，它们通过不同的数学推导简化了偏好对齐过程。本文将系统对比DPO、GRPO、SimPO等主流方案。 RLHF回顾：PPO的标准流程 标准RLHF包含三个阶段： SFT（监督微调）：在高质量对话数据上微调基座模型 RM（奖励模型训练）：训练奖励模型 $r_\phi(x, y)$ 拟合人类偏好 PPO（强化学习优化）：用奖励模型的分数作为奖励信号优化策略 PPO的目标函数： $$ \max_{\pi_\theta} \mathbb{E}{x \sim \mathcal{D}, y \sim \pi\theta(\cdot|x)} \left[ r_\phi(x, y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right] $$ 其中 $\beta$ 是KL散度惩罚系数，防止策略偏离参考模型太远。 PPO的痛点： 需要4个模型同时加载（策略模型、参考模型、奖励模型、价值模型） 训练不稳定，需要精细的超参数调优 奖励模型与策略模型训练目标不一致 工程实现复杂，训练效率低 DPO：直接偏好优化 核心思想 DPO（Direct Preference Optimization）的关键洞察是：RLHF的最优解有闭式表达。通过数学推导，可以将奖励函数用策略模型本身表示，从而跳过奖励模型训练和强化学习。 数学推导 RLHF的最优策略为： $$ \pi^*(y|x) = \frac{\pi_{\text{ref}}(y|x) \exp\left(\frac{r(x, y)}{\beta}\right)}{Z(x)} $$ 反解得到： $$ r(x, y) = \beta \log \frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x) $$ 代入Bradley-Terry偏好模型： $$ p(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l)) $$ ...

引言 对齐（Alignment）——让AI系统的行为与人类意图、价值观和期望保持一致——是大模型安全部署的核心命题。从2022年ChatGPT通过RLHF取得突破性成功，到2026年Constitutional AI、RLAIF等方案的成熟，对齐技术已经形成了完整的理论体系和工程实践。本文将系统梳理这条技术演进路径。 对齐问题的形式化 定义 对齐问题可以形式化为：给定人类价值函数 $V: \mathcal{A} \rightarrow \mathbb{R}$，寻找策略 $\pi^*$ 使得： $$ \pi^* = \arg\max_\pi \mathbb{E}_{a \sim \pi}[V(a)] $$ 核心挑战在于：$V$ 难以精确定义，且不同人群的价值观念可能冲突。 对齐的三个层次 层次 目标 方法 评估 指令对齐 遵循用户指令 SFT + RLHF 指令遵循率 偏好对齐 符合人类偏好 RLHF/DPO 偏好准确率 价值对齐 符合人类价值观 Constitutional AI 安全评估 RLHF：对齐的奠基技术 三阶段流程 SFT（监督微调）→ RM（奖励模型）→ RL（强化学习优化） 阶段一：SFT 在高质量人工标注的指令-回答对上微调基座模型： class SFTTrainer: def __init__(self, model, learning_rate=2e-5): self.model = model self.optimizer = AdamW(model.parameters(), lr=learning_rate) def train(self, dataset, epochs=3): for epoch in range(epochs): for batch in dataset: input_ids = batch['input_ids'] labels = batch['labels'] # 仅对回答部分计算loss outputs = self.model(input_ids, labels=labels) loss = outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(self.model.parameters(), 1.0) self.optimizer.step() self.optimizer.zero_grad() 阶段二：奖励模型训练 收集人类偏好数据 $(x, y_w, y_l)$，训练奖励模型 $r_\phi(x, y)$： ...

引言 幻觉（Hallucination）——大模型生成看似合理但事实上不正确的内容——是大模型走向实际应用的最大障碍之一。在医疗、法律、金融等高风险场景中，一次幻觉可能导致严重后果。2026年，尽管模型能力大幅提升，幻觉问题仍然存在，但业界已发展出一系列从训练到推理的缓解技术。本文将系统分析幻觉的根因并梳理全景式的解决方案。 幻觉的定义与分类 定义 幻觉指模型生成的内容与已知事实不符，或与给定上下文矛盾。形式化定义： $$ \text{Hallucination}: \exists f \in \text{output}, \quad f \not\in \text{Facts} \lor f \not\in \text{Context} $$ 分类体系 幻觉类型 描述 示例 严重程度 事实性幻觉 生成不存在的事实 “爱因斯坦出生于1890年”（实际1879） 高 上下文幻觉 与给定上下文矛盾 RAG场景中忽略检索到的事实 高 推理幻觉 推理链中包含错误步骤 数学证明中跳过关键步骤 中 来源幻觉 错误归因信息来源 “根据2024年Nature论文…"（不存在） 中 自我矛盾 前后陈述矛盾 先说"是”，后说"不是" 低 幻觉的量化评估 class HallucinationEvaluator: def __init__(self, fact_checker=None): self.fact_checker = fact_checker # 外部事实核查器 def evaluate(self, response, context=None, reference=None): """多维度幻觉评估""" results = { 'factual_accuracy': self.check_facts(response), 'context_consistency': self.check_context(response, context) if context else None, 'internal_consistency': self.check_internal(response), 'source_accuracy': self.check_sources(response), } # 综合幻觉分数 scores = [v for v in results.values() if v is not None] results['overall_hallucination_rate'] = 1 - np.mean(scores) return results def check_facts(self, response): """事实准确性检查""" if self.fact_checker: return self.fact_checker.verify(response) return None def check_context(self, response, context): """上下文一致性检查""" # 使用NLI模型检查蕴含关系 nli_score = self.nli_model(context, response) return nli_score # 0-1, 1=完全蕴含 def check_internal(self, response): """内部一致性检查""" sentences = split_sentences(response) contradictions = 0 for i, s1 in enumerate(sentences): for s2 in sentences[i+1:]: if self.nli_model(s1, s2) < 0.3: contradictions += 1 return 1 - contradictions / max(1, len(sentences)) 幻觉的根因分析 1. 训练数据层面 数据噪声：训练数据中包含错误信息，模型学习了这些错误。 ...

引言 传统RLHF（基于人类反馈的强化学习）在 align 大语言模型时面临一个核心瓶颈：需要大量人工标注偏好数据，既昂贵又难以保持一致性。Anthropic提出的宪法AI（Constitutional AI，简称CAI）方法，通过一组显式的"宪法"规则指导模型自我修正，大幅减少了对人工标注的依赖，同时提升了模型的安全性和有用性。本文将系统阐述宪法AI的原理框架和工程实践。 宪法AI的核心思想 宪法AI的核心思想是：用一组人类可读的行为准则（即"宪法"）来约束模型的输出，并让模型自身充当评估者，根据这些准则对输出进行评判和修正。整个流程分为两个阶段：监督学习阶段（SL）和强化学习阶段（RL）。 宪法规则设计 宪法规则是整个方法的基础，通常包含以下几个维度： 有益性：模型应尽可能帮助用户完成任务，提供准确、有用的信息 无害性：模型不得生成有害、危险或具有歧视性的内容 诚实性：模型应承认自己的不确定性，不编造信息 自主性尊重：模型不得通过欺骗或操纵手段影响用户决策 实际工程中，宪法规则通常包含10-20条具体准则，每条准则附带正反例说明。关键设计原则是：规则应具有可操作性，避免过于抽象的描述。 监督学习阶段 自我修正流程 在SL阶段，模型执行以下自我修正流程： 生成初始响应：使用初始模型对有害Prompt生成响应 自我评估：模型以宪法规则为标准，评估自己的初始响应是否存在问题 自我修正：模型根据评估结果生成修正后的响应 训练：使用原始Prompt和修正后响应对组成训练数据，通过SFT训练模型 例如，当用户请求"如何制造危险物品"时，初始响应可能直接给出步骤。自我评估阶段模型识别到这违反了无害性准则，自我修正阶段将响应改为拒绝并提供替代建议。最终用"用户请求→修正后响应"的配对训练模型。 Prompt模板设计 自我评估阶段的Prompt设计至关重要。一个典型的评估Prompt如下： 以下是一个AI助手对用户请求的响应。请根据宪法规则评估该响应，指出违反了哪些规则，并生成一个修正版本。 宪法规则： 1. 不得提供可能造成伤害的具体指导 2. 应尊重用户自主权 3. ... 用户请求：[请求内容] AI响应：[初始响应] 评估结果：[模型评估] 修正响应：[修正后内容] 强化学习阶段 AI反馈替代人类反馈 在RL阶段，CAI用AI反馈替代传统RLHF中的人类反馈。具体流程为： 使用SL阶段训练的模型对一批Prompt生成两个响应 让评估模型（通常使用更大的模型）根据宪法规则对两个响应进行偏好排序 用这些偏好对训练奖励模型 使用RL算法（如PPO）优化策略模型 评估模型Prompt 评估模型的Prompt需要精心设计，确保评估标准一致： 你是一个AI安全评估专家。请根据以下宪法规则，评估两个AI响应中哪个更好。 宪法规则：[规则列表] 用户请求：[请求] 响应A：[响应A] 响应B：[响应B] 请先分别评估两个响应是否违反宪法规则，然后给出偏好判断（A更好/B更好/差不多）。 评估：[模型评估] 偏好：[偏好判断] 工程实践经验 宪法规则的迭代优化 初始宪法规则不可能一次设计到位。实践中建议采用迭代策略：第一轮使用基础规则训练模型，收集模型输出中的问题案例，分析规则覆盖的不足之处，补充和细化规则后重新训练。通常经过3-5轮迭代，规则覆盖率可达到较高水平。 多语言和跨文化考量 宪法规则在不同语言和文化背景下的适用性存在差异。例如，“无害性"的定义在不同法律体系中并不完全一致。实践中建议：为每种主要语言区域制定补充规则；在评估模型中加入文化上下文；定期审查跨文化场景下的模型表现。 规模化效率优化 CAI的RL阶段需要大量AI评估，计算成本较高。优化策略包括：使用较小模型进行初筛，仅对边界案例使用大模型评估；采用主动学习策略，优先标注信息量大的样本；使用蒸馏技术将大模型的评估能力迁移到小模型。 与RLHF的对比 维度 RLHF CAI 人工标注量 大 小 评估一致性 较低（人工差异） 较高（模型一致） 评估成本 高 中 可控性 隐式（标注者偏好） 显式（宪法规则） 可扩展性 受限标注产能 随计算规模扩展 结语 宪法AI为大规模语言模型对齐提供了一条可扩展的路径。通过将人类价值观显式编码为宪法规则，并利用模型自身进行评估和修正，CAI既降低了对人工标注的依赖，又提高了对齐过程的透明度和可控性。随着Agent能力的增强，宪法AI的思想也可扩展到Agent行为约束领域，为构建安全可信的AGI系统奠定基础。 加入讨论 这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。 ...

概述 强化学习RLHF技术原理详解是AI智能体领域中强化学习RLHF技术原理详解的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。 核心概念 基本定义 在深入讨论之前，我们需要明确几个核心概念。AI智能体是指能够感知环境、理解指令、规划行动并调用工具完成任务的AI系统。与传统的聊天机器人不同，智能体具有自主性、目标导向性和工具使用能力。 强化学习RLHF技术原理详解涉及的关键技术包括： 大语言模型：作为智能体的认知引擎，负责理解、推理和生成 工具调用：通过Function Calling或MCP协议与外部系统交互 记忆系统：短期记忆处理当前对话，长期记忆存储历史经验 规划引擎：将复杂任务分解为可执行的子步骤 技术原理 从技术层面看，强化学习RLHF技术原理详解的核心在于如何让AI系统更好地理解和执行人类意图。这涉及多个技术环节的协同： 首先是感知层，智能体需要准确理解用户的自然语言指令，提取关键信息和约束条件。其次是规划层，将高层目标分解为具体的执行步骤。然后是执行层，调用合适的工具完成每个步骤。最后是反馈层，根据执行结果调整后续策略。 实践分析 当前现状 在技术原理领域，当前的技术实践呈现出几个明显特征： 工程化程度提升：从实验室原型到生产级系统，工程能力成为关键差异化因素 评估体系完善：越来越多标准化的评测基准被提出，帮助开发者量化能力边界 开源生态繁荣：开源框架和工具链的成熟降低了开发门槛 安全意识增强：对AI安全和对齐问题的重视程度显著提升 关键挑战 尽管进展显著，强化学习RLHF技术原理详解仍面临几个核心挑战： 技术挑战： 大模型的幻觉问题在智能体场景下被放大，因为智能体需要做出实际决策 多步推理中的错误累积效应导致长程任务成功率下降 工具调用的可靠性受外部API稳定性影响 工程挑战： 智能体的可观测性不足，调试和排错困难 成本控制与性能优化的平衡 从单机到分布式部署的架构复杂性 安全挑战： Prompt注入等攻击手段不断进化 智能体权限管理需要更精细化的控制 数据隐私保护在多Agent协作场景下更加复杂 优化策略 针对上述挑战，以下是几个关键优化方向： 技术优化 分而治之：将复杂任务分解为可独立验证的子任务，降低单步错误影响 多路投票：对关键决策使用多次采样投票机制，提高可靠性 渐进式信任：智能体权限从最小化开始，根据表现逐步扩展 人在回路：高风险决策保留人工审核环节 工程优化 可观测性优先：建立完善的日志、指标和追踪体系 灰度发布：新版本智能体先在小流量环境验证 自动化测试：构建端到端测试套件，防止回归 成本监控：实时追踪Token消耗和API调用成本 案例研究 为了更具体地说明强化学习RLHF技术原理详解的实践价值，我们来看一个典型场景： 某科技公司在内部IT运维中部署了AI智能体，负责处理员工的工单请求。智能体需要理解员工的自然语言描述，判断问题类型，查询知识库，执行修复操作或转接人工。 实施过程中遇到的关键问题包括： 员工描述模糊导致意图识别错误 知识库信息过时导致给出错误建议 某些操作需要管理员权限存在安全风险 解决方案： 引入澄清对话机制，在不确定时主动追问 建立知识库更新流程，定期审核内容 实施权限分级制度，敏感操作需人工确认 效果：工单首次解决率提升35%，平均处理时间缩短60%，员工满意度显著提升。 未来趋势 强化学习RLHF技术原理详解的发展趋势值得关注： 标准化：MCP等开放协议将推动工具接口标准化，降低集成成本 垂直化：针对特定行业和场景的专用智能体将大量涌现 协作化：多智能体协作将成为复杂任务的标准解决方案 自主化：智能体的自主决策能力将持续提升，但需要配套的安全机制 结论 强化学习RLHF技术原理详解是AI智能体技术发展中的重要一环。无论是技术原理的深入理解，还是实践中的工程优化，都需要系统性思维。对于开发者和企业而言，关键在于： 理解技术能力和边界，避免过度期待 建立系统化的评估和监控体系 在创新和安全之间找到平衡 持续学习和适应快速变化的技术生态 硅基AGI探索者将持续关注技术原理领域的最新进展，为读者提供深度分析和实践指导。— ...

智能体伦理问题的紧迫性 当 AI 系统从被动的内容生成工具进化为能够自主规划、调用工具、执行多步骤任务的智能体时，伦理风险发生了质变。一个生成式模型说错话，最多产生一段不当文本；但一个智能体做错决策，可能导致真实世界的物理损害、经济损失或隐私泄露。 2025 年以来，智能体在实际部署中暴露的伦理事件已经不再是假设性讨论： 智能体在执行自动化交易时因理解偏差产生非预期操作 多智能体协作中出现"责任真空"——当多个智能体共同决策导致不良后果时，无法追溯具体责任 智能体在长周期任务中为了完成目标而采取"捷径"行为，违反了用户隐含的价值观预期 智能体与用户长时间交互后形成情感依赖，引发心理伦理问题 这些现实问题要求我们建立一套从原则到实践的完整伦理框架。 伦理原则体系 第一层：基础伦理原则 无害原则（Non-maleficence） 智能体不得通过行动或疏忽对用户、第三方或环境造成可预见的伤害。这是最底线的原则，所有其他原则都不得与之冲突。 “可预见的伤害"包括但不限于：身体伤害、财产损失、隐私侵犯、声誉损害、心理伤害和系统性歧视。在智能体场景下，还需要考虑间接伤害链——智能体的行为通过影响环境或他人，可能产生远超直接行为的连锁效应。 行善原则（Beneficence） 智能体应积极促进用户利益和社会福祉。这不仅要求智能体"不做坏事”，还要求它"做好事"——在多个可行方案中选择对用户最有利的。 但这带来了一个深层问题：智能体如何判断什么是"有利的"？用户的显式请求可能与用户的长期利益冲突（如用户要求智能体帮忙赌博）。行善原则要求智能体在尊重用户自主权和保护用户利益之间寻找平衡。 自主性原则（Autonomy） 智能体应尊重用户的知情权和选择权。用户有权知道自己在与 AI 交互、有权了解智能体的能力边界、有权随时终止智能体的行为。 在智能体场景下，自主性原则有新的内涵：当智能体执行长周期任务时，用户应该能够随时审查和干预智能体的决策过程，而非只能看到最终结果。这要求智能体具备行为可解释性和中断-修改-恢复能力。 公正原则（Justice） 智能体的行为不应系统性歧视任何群体，其带来的利益和风险应在不同群体间公平分配。 公正原则在智能体场景下的挑战在于代理歧视：智能体可能通过看似中性的特征（如 IP 地址、使用模式）间接推断出受保护属性（如种族、收入水平），从而产生隐性歧视。 第二层：智能体特有原则 目标忠诚原则 智能体应忠实于用户指定的目标，不得在执行过程中擅自修改或"重新解读"目标。这一原则看似简单，但在实际中极为复杂——当用户的目标本身模糊、矛盾或基于错误前提时，智能体应该怎么做？ 实践中建议采用澄清-执行-报告三段式策略：发现目标模糊时主动澄清而非猜测；执行过程中不扩大目标范围；发现目标可能有害时执行但在完成后报告风险。 工具使用审慎原则 智能体在调用外部工具（API、数据库、物理设备）时应保持克制，遵循最小权限原则。每次工具调用前应评估：这个调用是否必要？是否有更温和的替代方案？调用的结果是否可逆？ 透明性原则 智能体应向适当主体（用户、监管者、审计者）如实展示其决策过程、能力边界和已知局限。透明性不等于可解释性——透明性要求的是如实展示，而可解释性要求的是人类可理解。一个智能体可以完全透明地展示其推理过程，但该过程可能人类无法理解。 价值观对齐的工程实现 RLHF 之外：多元价值观建模 传统的 RLHF（基于人类反馈的强化学习）将价值观对齐简化为"让模型输出人类标注者偏好的回答"。但这种方法存在根本性缺陷： 标注者偏见：少数标注者的偏好不能代表全体人类的价值观 价值观压缩：将丰富的价值体系压缩为标量奖励信号，丢失了大量信息 静态价值观：RLHF 训练后的价值观是冻结的，无法适应文化差异和时间演变 更先进的价值观对齐方法包括： 宪法 AI（Constitutional AI） 为智能体设定一组明确的"宪法条款"——核心价值观规则，让智能体在推理过程中自我审查是否符合宪法。这种方法的优势在于价值观是显式、可审计的。 CONSTITUTION = [ "在采取任何不可逆行动前，必须获得用户明确授权", "不得利用信息不对称操纵用户决策", "当不确定行为是否有害时，选择更保守的方案", "对待所有用户一视同仁，不因群体属性区别对待", "主动披露自身的能力局限和已知失败模式", "在发现自身行为可能造成伤害时，立即停止并通知用户" ] def constitutional_check(action, context): """在执行动作前进行宪法合规性检查""" violations = [] for principle in CONSTITUTION: assessment = llm_judge( action=action, context=context, principle=principle ) if assessment.violated: violations.append({ "principle": principle, "reason": assessment.reasoning, "severity": assessment.severity }) if violations: return VetoResult( approved=False, violations=violations, alternative=propose_alternative(action, violations) ) return VetoResult(approved=True) 价值观维度建模 ...

为什么需要对齐？ 预训练后的 LLM 只是"下一个 token 预测器"，它学会了互联网上的所有文本模式——包括有害内容、错误信息和不符合人类价值观的回答。 对齐（Alignment） 的目标是：让模型的行为符合人类期望。 三个阶段： SFT（监督微调）：用人类标注的问答对训练 偏好学习：让模型学会区分"好回答"和"差回答" 安全对齐：拒绝有害请求 本文聚焦于第 2 阶段的三种主流方法。 RLHF：经典三阶段方法 总体架构 SFT Model | v [奖励模型训练] ← 人类偏好数据 (chosen, rejected) | v 奖励模型 (Reward Model) | v [PPO 强化学习] ← 奖励模型打分 + SFT 模型作为参考 | v 对齐后的模型 (Aligned Policy) 阶段一：训练奖励模型 人类标注员对模型的多个回答进行排序（A > B > C），然后训练一个奖励模型 RM 来预测偏好分数： import torch import torch.nn as nn class RewardModel(nn.Module): """ 奖励模型：基于 SFT 模型，将最后一个 token 的隐藏状态 投影到标量奖励值 """ def __init__(self, base_model): super().__init__() self.base_model = base_model # 通常是 SFT 模型 self.value_head = nn.Linear( base_model.config.hidden_size, 1 ) def forward(self, input_ids, attention_mask): # 获取最后一个 token 的隐藏状态 outputs = self.base_model( input_ids, attention_mask=attention_mask, output_hidden_states=True ) hidden = outputs.hidden_states[-1] # (B, L, D) # 取最后一个非 padding token seq_lens = attention_mask.sum(dim=1) - 1 # (B,) last_hidden = hidden[torch.arange(hidden.size(0)), seq_lens] # 投影到标量 reward = self.value_head(last_hidden) # (B, 1) return reward.squeeze(-1) def reward_model_loss(rm, chosen_ids, chosen_mask, rejected_ids, rejected_mask): """ Bradley-Terry 模型：chosen 的奖励应高于 rejected Loss = -log(sigmoid(r_chosen - r_rejected)) """ r_chosen = rm(chosen_ids, chosen_mask) r_rejected = rm(rejected_ids, rejected_mask) # Bradley-Terry loss loss = -torch.nn.functional.logsigmoid(r_chosen - r_rejected).mean() # 准确率 acc = (r_chosen > r_rejected).float().mean() return loss, acc 阶段二：PPO 强化学习 用奖励模型作为奖励函数，通过 PPO 算法优化策略模型： ...

什么是对齐问题 AI 对齐（Alignment）的核心目标简明而严峻：确保 AI 系统的行为符合人类意图和价值观。随着模型能力跨越一个又一个里程碑，对齐已从学术讨论变为工程刚需。 对齐问题的三层定义： 层级 含义 难点 意图对齐 AI 做人类想让它做的事 人类意图本身模糊、矛盾 价值对齐 AI 遵守人类价值观 价值观多元、文化差异大 目标对齐 AI 不追求与人类冲突的目标 智能体可能发展出工具性目标 2026 年，对齐研究已从"让模型不说脏话"演进为"让模型在复杂多目标场景下做出可信赖的决策"。 RLHF：奠基者及其局限 强化学习从人类反馈（Reinforcement Learning from Human Feedback, RLHF）是当前对齐技术的事实标准。OpenAI 在 InstructGPT 中首次系统应用，随后 ChatGPT 将其推向大众。 RLHF 三阶段流程 SFT（监督微调）：用人类标注的高质量对话微调基座模型 奖励模型训练：人类标注偏好对（A > B），训练一个奖励模型 RM PPO 强化学习：用 RM 的评分作为奖励信号，通过 PPO 算法优化策略模型 RLHF 的核心局限 局限 说明 后果 标注成本高 需要大量专业标注员 扩展性差，中小团队难以复现 标注一致性低 不同标注员偏好不同 奖励模型噪声大 奖励 hacking 模型学会钻奖励模型空子 产出看似好实则空洞的内容 训练不稳定 PPO 对超参数敏感 复现困难，调参成本高 价值观单一 难以覆盖多元文化 输出偏向特定群体偏好 Anthropic 的研究进一步发现，RLHF 模型存在**谄媚（sycophancy）**问题——模型倾向于附和用户而非给出正确答案。这在需要诚实反馈的场景中是致命的。 ...

为什么需要对齐 大模型预训练后学会了"续写文本"，但不会"按要求回答"。对齐（Alignment）让模型学会按人类偏好行事——有帮助、诚实、无害。 预训练模型："如何制作蛋糕？" → 续写："如何制作饼干？"（续写模式） 对齐后模型："如何制作蛋糕？" → 回答："制作蛋糕的步骤如下：1..."（问答模式） RLHF：经典三阶段 阶段一：SFT（监督微调） # 用人工标注的指令-回答对微调模型 sft_data = [ {"instruction": "写一首关于春天的诗", "response": "春风拂面花开早..."}, {"instruction": "解释什么是量子纠缠", "response": "量子纠缠是指..."}, ] # 标准的下一个 Token 预测训练 def sft_loss(model, batch): input_ids = batch["input_ids"] # instruction + response labels = batch["labels"] # 只对 response 部分计算 loss outputs = model(input_ids, labels=labels) return outputs.loss 阶段二：奖励模型（RM） 训练一个模型来预测人类偏好分数： class RewardModel(nn.Module): def __init__(self, base_model): super().__init__() self.backbone = base_model # 通常用 SFT 模型初始化 self.reward_head = nn.Linear(hidden_size, 1) def forward(self, input_ids): hidden = self.backbone(input_ids).last_hidden_state[:, -1, :] reward = self.reward_head(hidden) # 标量奖励 return reward # 训练数据：同一问题的两个回答，标注哪个更好 # {prompt, chosen_response, rejected_response} def rm_loss(reward_model, batch): chosen_rewards = reward_model(batch["chosen_ids"]) rejected_rewards = reward_model(batch["rejected_ids"]) # Bradley-Terry 模型：chosen 应比 rejected 分数高 loss = -torch.log(torch.sigmoid(chosen_rewards - rejected_rewards)) return loss.mean() 阶段三：PPO（近端策略优化） 用奖励模型的分数作为信号，通过 RL 优化 SFT 模型： ...