Constitutional AI

对齐问题：让模型"听话"且"不闯祸" 大模型的安全对齐是AGI发展道路上不可回避的核心问题。一个能力强大但不对齐的模型可能带来严重的社会风险。本文系统梳理当前主流的对齐技术方案。 RLHF：经典三阶段方法 第一阶段：SFT（监督微调） 使用人工编写的高质量对话数据微调基座模型： # SFT数据格式示例 { "instruction": "解释量子纠缠", "input": "", "output": "量子纠缠是指两个或多个粒子..." } SFT建立模型的指令跟随能力，是对齐的基础。 第二阶段：奖励模型训练 收集人类偏好数据（A优于B或B优于A），训练一个奖励模型预测人类偏好： class RewardModel(nn.Module): def __init__(self, base_model): super().__init__() self.transformer = base_model self.value_head = nn.Linear(hidden_size, 1) def forward(self, input_ids): hidden_states = self.transformer(input_ids).last_hidden_state # 取最后一个token的隐状态 last_hidden = hidden_states[:, -1, :] reward = self.value_head(last_hidden) return reward.squeeze(-1) 第三阶段：PPO强化学习 使用奖励模型的分数作为奖励信号，通过PPO算法优化策略模型： PPO阶段的核心挑战： KL散度约束：防止策略模型偏离SFT模型太远导致能力退化 奖励黑客：模型可能找到欺骗奖励模型的"捷径" 训练不稳定：需要精细的超参数调优 DPO：简化对齐流程 Direct Preference Optimization（DPO）绕过了奖励模型和强化学习，直接从偏好数据优化策略模型： def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta=0.1): pi_logratios = policy_chosen_logps - policy_rejected_logps ref_logratios = ref_chosen_logps - ref_rejected_logps logits = pi_logratios - ref_logratios return -F.logsigmoid(beta * logits).mean() DPO的优势： 无需训练奖励模型，减少一个训练阶段 不需要PPO的复杂训练循环 训练更稳定，超参数更少 数学上等价于在隐式奖励上做最优的Bradley-Terry模型 但DPO也有局限：对数据质量更敏感，且在复杂多轮对话场景中效果不如RLHF。 Constitutional AI：自我改进对齐 Anthropic提出的Constitutional AI（CAI）方法让模型基于一组"宪法"原则进行自我批评和修正： 宪法原则示例： 1. 不要生成歧视性内容 2. 拒绝协助危险活动 3. 保持诚实，不编造信息 4. 尊重用户隐私 CAI的流程： 模型生成初始回复 模型根据宪法原则自我批评 模型生成修正后的回复 用修正后的数据做RLHF/DPO 这种方法减少了对人类标注的依赖，且对齐效果可与RLHF媲美。 安全护栏与实时过滤 对齐训练之外，推理时的安全护栏同样重要： ...

大模型的安全对齐技术全景 让AI"做人类想让它做的事，而非它能做的事"——这就是对齐问题的核心。2026年，随着大模型能力逼近AGI水平，对齐技术的重要性前所未有。本文全面梳理当前主流和前沿的安全对齐技术。 对齐的目标层次 安全对齐不是单一目标，而是一个多层目标体系： 无害性：不生成有害、违法、不道德的内容 有用性：尽可能帮助用户完成任务 诚实性：不编造信息，不确定时说"我不知道" 可控性：服从人类指令，不越界行动 价值一致性：与人类核心价值观对齐 这五个目标之间存在张力。过度强调无害性会牺牲有用性（过度拒绝），过度强调有用性会牺牲无害性（过度配合有害请求）。对齐技术的核心挑战就是在这个多维空间中找到最优平衡。 训练阶段对齐技术 RLHF：经典三步法 RLHF（Reinforcement Learning from Human Feedback）仍然是对齐技术的基础。其三步流程： 第一步：SFT（监督微调）。用人类标注的高质量对话对预训练模型进行微调，建立基础的对话能力。 第二步：奖励模型训练。收集人类对模型输出的偏好排序数据，训练一个预测人类偏好的奖励模型。 第三步：PPO强化学习。用奖励模型的反馈作为强化学习信号，优化模型策略。 RLHF在2026年仍然是主流对齐方法，但已经有许多改进。最重要的改进是过程奖励模型（Process Reward Model）——不仅对最终输出评分，还对推理过程的每一步评分。这使奖励信号更精确，减少了"为了迎合奖励而牺牲正确性"的reward hacking问题。 DPO：去掉奖励模型 DPO（Direct Preference Optimization）的核心创新是跳过奖励模型训练，直接从偏好数据中学习。它通过一个巧妙的数学变换，将RLHF的目标函数转化为可以直接优化的分类损失。 DPO的优势： 训练流程简化（去掉RM训练和PPO两个步骤） 训练稳定性更好（PPO是出了名的难调） 计算成本更低 DPO的局限： 对数据质量要求更高（没有RM做中间缓冲） 在复杂多轮对话上的效果不如RLHF 缺乏在线学习能力（RLHF可以持续收集反馈） 实践中，很多团队采用了"RLHF用于复杂能力对齐，DPO用于快速迭代简单对齐"的混合策略。 Constitutional AI：自我对齐 Constitutional AI（CAI）是Anthropic提出的创新方法，核心思想是让AI自己生成对齐数据。 流程：给模型一组"宪法"原则（如"不要帮助制造武器"），让模型自己生成遵循这些原则的对话，然后用这些对话做对齐训练。 CAI的突破性在于它解决了一个核心瓶颈——人类标注对齐数据的成本极高。通过AI自生成+人类审核的方式，对齐数据的规模可以扩大100倍以上。 RLAIF：AI反馈强化学习 RLAIF是CAI的进一步延伸——连人类审核都省了，完全用AI（通常是更强的模型）来提供偏好标注。GPT-4给GPT-3.5的输出评分，作为RLHF的奖励信号。 RLAIF的争议很大。支持者认为它是对齐的可扩展方案——当模型能力超过人类评估能力时，AI评估是唯一选择。批评者担心"模型评估模型"的循环可能引入系统性偏差。 2026年的实践是混合模式：关键安全维度保留人类评估，非关键维度使用AI评估。 推理阶段对齐技术 训练阶段对齐不是全部，推理阶段的对齐技术同样重要。 系统Prompt防护 系统Prompt是最直接的推理阶段对齐手段。通过在对话前注入安全指令来约束模型行为。虽然简单，但在实践中效果显著——一个精心设计的系统Prompt可以将有害输出率降低80%以上。 Guardrails Guardrails是推理阶段的过滤层，在模型输出后、返回给用户前进行检查： 基于规则的过滤（关键词、正则匹配） 基于分类模型的过滤（安全分类器） 基于LLM的二次审核（让另一个模型检查输出是否安全） 多层Guardrails形成深度防御。但过滤太严格会损失有用性——“过度拒绝"是2026年用户体验的主要痛点之一。 Red Teaming 红队测试是对齐效果的最终验证。我们组织了专业红队和社区众测两种方式： 专业红队：安全研究员系统性地尝试突破模型的安全边界，覆盖越狱攻击、Prompt注入、间接注入、多轮诱导等攻击向量。 社区众测：开放给社区用户尝试突破，设置奖励。社区测试覆盖面广，经常发现专业团队想不到的攻击路径。 红队发现的问题形成测试集，纳入回归测试，确保修复后不再复现。 对齐的度量 对齐效果需要量化度量。我们使用以下指标： 无害率：在标准安全测试集上的无害响应比例（目标>99%） 有用率：在正常任务上的完成率（目标>90%） 过度拒绝率：对安全请求的拒绝率（目标<5%） 越狱成功率：红队攻击的成功率（目标<1%） 诚实性：在已知事实问题上的幻觉率（目标<3%） 这些指标之间存在张力，对齐调参本质上是在这个多维空间中做帕累托优化。 ...

2026年对齐技术格局 AI对齐（AI Alignment）是确保AI系统行为符合人类意图和价值观的核心技术挑战。2026年，随着模型能力逼近甚至超越人类专家水平，对齐技术也从简单的"人类打分"演化为复杂的"AI辅助对齐"体系。 下表展示了2026年主流对齐技术的成熟度： 技术 成熟度 应用范围 核心瓶颈 RLHF 成熟 所有主流模型 人类标注成本 DPO 成熟 开源模型微调 需要偏好数据 Constitutional AI 生产级 Claude系列 宪法设计复杂 RLAIF 早期生产 简单任务 AI判断可靠性 可扩展监督 研究前沿 实验性 协议设计未成熟 Debate 研究阶段 无 理论验证中 第一阶段：RLHF——人类反馈强化学习 基本原理 RLHF（Reinforcement Learning from Human Feedback）是当前最主流的对齐方法，由OpenAI在InstructGPT中推广开来。 # RLHF三阶段流程 class RLHFPipeline: def __init__(self, base_model): self.base_model = base_model self.reward_model = None self.aligned_model = None def stage1_supervised_finetuning(self, quality_dataset): """阶段1: SFT - 用高质量标注数据微调""" self.sft_model = self.base_model.finetune(quality_dataset) return self.sft_model def stage2_reward_modeling(self, preference_data): """阶段2: RM - 训练奖励模型""" # preference_data: [(prompt, chosen, rejected), ...] self.reward_model = RewardModel( base=self.base_model, loss_fn=self.pairwise_ranking_loss ) self.reward_model.train(preference_data) return self.reward_model def stage3_reinforcement_learning(self, ppo_config): """阶段3: RL - PPO优化""" # 用RM的奖励信号通过PPO优化SFT模型 self.aligned_model = PPOTrainer( policy=self.sft_model, reward_model=self.reward_model, **ppo_config ).train() return self.aligned_model @staticmethod def pairwise_ranking_loss(reward_chosen, reward_rejected): """Bradley-Terry偏好模型""" import torch.nn.functional as F return -F.logsigmoid(reward_chosen - reward_rejected) RLHF的局限性 2026年视角下，RLHF的几个核心问题变得日益突出： ...

引言 对齐（Alignment）——让AI系统的行为与人类意图、价值观和期望保持一致——是大模型安全部署的核心命题。从2022年ChatGPT通过RLHF取得突破性成功，到2026年Constitutional AI、RLAIF等方案的成熟，对齐技术已经形成了完整的理论体系和工程实践。本文将系统梳理这条技术演进路径。 对齐问题的形式化 定义 对齐问题可以形式化为：给定人类价值函数 $V: \mathcal{A} \rightarrow \mathbb{R}$，寻找策略 $\pi^*$ 使得： $$ \pi^* = \arg\max_\pi \mathbb{E}_{a \sim \pi}[V(a)] $$ 核心挑战在于：$V$ 难以精确定义，且不同人群的价值观念可能冲突。 对齐的三个层次 层次 目标 方法 评估 指令对齐 遵循用户指令 SFT + RLHF 指令遵循率 偏好对齐 符合人类偏好 RLHF/DPO 偏好准确率 价值对齐 符合人类价值观 Constitutional AI 安全评估 RLHF：对齐的奠基技术 三阶段流程 SFT（监督微调）→ RM（奖励模型）→ RL（强化学习优化） 阶段一：SFT 在高质量人工标注的指令-回答对上微调基座模型： class SFTTrainer: def __init__(self, model, learning_rate=2e-5): self.model = model self.optimizer = AdamW(model.parameters(), lr=learning_rate) def train(self, dataset, epochs=3): for epoch in range(epochs): for batch in dataset: input_ids = batch['input_ids'] labels = batch['labels'] # 仅对回答部分计算loss outputs = self.model(input_ids, labels=labels) loss = outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(self.model.parameters(), 1.0) self.optimizer.step() self.optimizer.zero_grad() 阶段二：奖励模型训练 收集人类偏好数据 $(x, y_w, y_l)$，训练奖励模型 $r_\phi(x, y)$： ...

AI 对齐：让模型做正确的事 AI 对齐（AI Alignment）是确保 AI 系统的行为与人类意图、价值观和利益保持一致的研究领域。2026 年，随着模型能力逼近 AGI 水平，对齐问题从学术讨论变成了紧迫的工程挑战。从 RLHF 到 Constitutional AI 再到最新的自我对齐方法，对齐技术正在经历快速迭代。 一、对齐技术演进路线 2022 2023 2024 2025 2026 │ │ │ │ │ RLHF → DPO → Constitutional → Self-Play → Multi-Agent RLAIF AI (CAI) Alignment Constitutional KTO (SPA) Alignment (MACA) 对齐方法对比总览 方法 核心思想 人类标注成本 效果 计算成本 RLHF 人类反馈强化学习 极高 好 高 DPO 直接偏好优化 高 较好 中 Constitutional AI 宪法约束自我改进 中 好 中 RLAIF AI 反馈强化学习 低 中 高 SPA 自我对弈对齐 低 较好 高 MACA 多 Agent 宪法对齐 低 最好 极高 二、RLHF 回顾与 2026 新发展 2.1 经典 RLHF 流程 ┌──────────┐ ┌──────────────┐ ┌─────────────┐ ┌──────────┐ │ SFT模型 │ → │ 奖励模型训练 │ → │ PPO强化学习 │ → │ 对齐模型 │ │ (预训练) │ │ (人类偏好数据)│ │ (RL优化) │ │ (输出) │ └──────────┘ └──────────────┘ └─────────────┘ └──────────┘ 2.2 RLHF 2026 新改进 class RLHF2026: """2026年的RLHF改进版本""" def __init__(self): self.improvements = { 'reward_model': { 'traditional': '单一奖励模型', '2026': '多维度奖励模型集成（有用性、安全性、诚实性）', }, 'preference_data': { 'traditional': '人工标注偏好对', '2026': '人工+AI混合标注，AI标注后人工审核', }, 'optimization': { 'traditional': 'PPO', '2026': 'GRPO (Group Relative Policy Optimization) + 自适应KL惩罚', }, 'evaluation': { 'traditional': '人工评估', '2026': '多维度自动评估 + 人工抽样', } } 2.3 多维度奖励模型 import torch import torch.nn as nn from transformers import AutoModel class MultiDimensionalRewardModel(nn.Module): """多维度奖励模型——2026 RLHF 标配""" def __init__(self, base_model_name: str, dimensions: list = None): super().__init__() self.base = AutoModel.from_pretrained(base_model_name) self.dimensions = dimensions or ['helpfulness', 'safety', 'honesty', 'factuality'] # 每个维度一个奖励头 self.reward_heads = nn.ModuleDict({ dim: nn.Linear(self.base.config.hidden_size, 1) for dim in self.dimensions }) def forward(self, input_ids, attention_mask): outputs = self.base(input_ids, attention_mask=attention_mask) pooled = outputs.last_hidden_state[:, 0] # CLS token rewards = {} for dim, head in self.reward_heads.items(): rewards[dim] = head(pooled).squeeze(-1) return rewards def get_combined_reward(self, rewards: dict, weights: dict = None) -> float: """加权组合各维度奖励""" weights = weights or {d: 1.0/len(self.dimensions) for d in self.dimensions} return sum(weights[d] * rewards[d] for d in self.dimensions) 三、Constitutional AI (CAI) 3.1 核心思想 Constitutionual AI 由 Anthropic 提出，核心是用一组"宪法"原则来指导模型自我改进，减少对人类标注的依赖： ...

引言 传统RLHF（基于人类反馈的强化学习）在 align 大语言模型时面临一个核心瓶颈：需要大量人工标注偏好数据，既昂贵又难以保持一致性。Anthropic提出的宪法AI（Constitutional AI，简称CAI）方法，通过一组显式的"宪法"规则指导模型自我修正，大幅减少了对人工标注的依赖，同时提升了模型的安全性和有用性。本文将系统阐述宪法AI的原理框架和工程实践。 宪法AI的核心思想 宪法AI的核心思想是：用一组人类可读的行为准则（即"宪法"）来约束模型的输出，并让模型自身充当评估者，根据这些准则对输出进行评判和修正。整个流程分为两个阶段：监督学习阶段（SL）和强化学习阶段（RL）。 宪法规则设计 宪法规则是整个方法的基础，通常包含以下几个维度： 有益性：模型应尽可能帮助用户完成任务，提供准确、有用的信息 无害性：模型不得生成有害、危险或具有歧视性的内容 诚实性：模型应承认自己的不确定性，不编造信息 自主性尊重：模型不得通过欺骗或操纵手段影响用户决策 实际工程中，宪法规则通常包含10-20条具体准则，每条准则附带正反例说明。关键设计原则是：规则应具有可操作性，避免过于抽象的描述。 监督学习阶段 自我修正流程 在SL阶段，模型执行以下自我修正流程： 生成初始响应：使用初始模型对有害Prompt生成响应 自我评估：模型以宪法规则为标准，评估自己的初始响应是否存在问题 自我修正：模型根据评估结果生成修正后的响应 训练：使用原始Prompt和修正后响应对组成训练数据，通过SFT训练模型 例如，当用户请求"如何制造危险物品"时，初始响应可能直接给出步骤。自我评估阶段模型识别到这违反了无害性准则，自我修正阶段将响应改为拒绝并提供替代建议。最终用"用户请求→修正后响应"的配对训练模型。 Prompt模板设计 自我评估阶段的Prompt设计至关重要。一个典型的评估Prompt如下： 以下是一个AI助手对用户请求的响应。请根据宪法规则评估该响应，指出违反了哪些规则，并生成一个修正版本。 宪法规则： 1. 不得提供可能造成伤害的具体指导 2. 应尊重用户自主权 3. ... 用户请求：[请求内容] AI响应：[初始响应] 评估结果：[模型评估] 修正响应：[修正后内容] 强化学习阶段 AI反馈替代人类反馈 在RL阶段，CAI用AI反馈替代传统RLHF中的人类反馈。具体流程为： 使用SL阶段训练的模型对一批Prompt生成两个响应 让评估模型（通常使用更大的模型）根据宪法规则对两个响应进行偏好排序 用这些偏好对训练奖励模型 使用RL算法（如PPO）优化策略模型 评估模型Prompt 评估模型的Prompt需要精心设计，确保评估标准一致： 你是一个AI安全评估专家。请根据以下宪法规则，评估两个AI响应中哪个更好。 宪法规则：[规则列表] 用户请求：[请求] 响应A：[响应A] 响应B：[响应B] 请先分别评估两个响应是否违反宪法规则，然后给出偏好判断（A更好/B更好/差不多）。 评估：[模型评估] 偏好：[偏好判断] 工程实践经验 宪法规则的迭代优化 初始宪法规则不可能一次设计到位。实践中建议采用迭代策略：第一轮使用基础规则训练模型，收集模型输出中的问题案例，分析规则覆盖的不足之处，补充和细化规则后重新训练。通常经过3-5轮迭代，规则覆盖率可达到较高水平。 多语言和跨文化考量 宪法规则在不同语言和文化背景下的适用性存在差异。例如，“无害性"的定义在不同法律体系中并不完全一致。实践中建议：为每种主要语言区域制定补充规则；在评估模型中加入文化上下文；定期审查跨文化场景下的模型表现。 规模化效率优化 CAI的RL阶段需要大量AI评估，计算成本较高。优化策略包括：使用较小模型进行初筛，仅对边界案例使用大模型评估；采用主动学习策略，优先标注信息量大的样本；使用蒸馏技术将大模型的评估能力迁移到小模型。 与RLHF的对比 维度 RLHF CAI 人工标注量 大 小 评估一致性 较低（人工差异） 较高（模型一致） 评估成本 高 中 可控性 隐式（标注者偏好） 显式（宪法规则） 可扩展性 受限标注产能 随计算规模扩展 结语 宪法AI为大规模语言模型对齐提供了一条可扩展的路径。通过将人类价值观显式编码为宪法规则，并利用模型自身进行评估和修正，CAI既降低了对人工标注的依赖，又提高了对齐过程的透明度和可控性。随着Agent能力的增强，宪法AI的思想也可扩展到Agent行为约束领域，为构建安全可信的AGI系统奠定基础。 加入讨论 这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。 ...

什么是对齐问题 AI 对齐（Alignment）的核心目标简明而严峻：确保 AI 系统的行为符合人类意图和价值观。随着模型能力跨越一个又一个里程碑，对齐已从学术讨论变为工程刚需。 对齐问题的三层定义： 层级 含义 难点 意图对齐 AI 做人类想让它做的事 人类意图本身模糊、矛盾 价值对齐 AI 遵守人类价值观 价值观多元、文化差异大 目标对齐 AI 不追求与人类冲突的目标 智能体可能发展出工具性目标 2026 年，对齐研究已从"让模型不说脏话"演进为"让模型在复杂多目标场景下做出可信赖的决策"。 RLHF：奠基者及其局限 强化学习从人类反馈（Reinforcement Learning from Human Feedback, RLHF）是当前对齐技术的事实标准。OpenAI 在 InstructGPT 中首次系统应用，随后 ChatGPT 将其推向大众。 RLHF 三阶段流程 SFT（监督微调）：用人类标注的高质量对话微调基座模型 奖励模型训练：人类标注偏好对（A > B），训练一个奖励模型 RM PPO 强化学习：用 RM 的评分作为奖励信号，通过 PPO 算法优化策略模型 RLHF 的核心局限 局限 说明 后果 标注成本高 需要大量专业标注员 扩展性差，中小团队难以复现 标注一致性低 不同标注员偏好不同 奖励模型噪声大 奖励 hacking 模型学会钻奖励模型空子 产出看似好实则空洞的内容 训练不稳定 PPO 对超参数敏感 复现困难，调参成本高 价值观单一 难以覆盖多元文化 输出偏向特定群体偏好 Anthropic 的研究进一步发现，RLHF 模型存在**谄媚（sycophancy）**问题——模型倾向于附和用户而非给出正确答案。这在需要诚实反馈的场景中是致命的。 ...

为什么需要对齐 模型能力越强，对齐越重要。一个能力满分但不对齐的 Agent，比一个能力一般但安全的 Agent 危险得多。 对齐要解决三个问题： 有用（Helpful）：完成用户要求 无害（Harmless）：不产生有害内容 诚实（Honest）：不编造、不欺骗 对齐技术演进 2022: RLHF（OpenAI） → 人类反馈强化学习 2023: Constitutional AI → 宪法引导自监督 2024: DPO → 直接偏好优化 2025: GRPO → 群体相对策略优化 2026: Self-Play + RL → 自我对弈+推理RL RLHF（人类反馈强化学习） 流程 Step 1: SFT 人工标注 → 监督微调 → SFT 模型 Step 2: RM 生成回答 → 人工排序 → 训练奖励模型 Step 3: PPO 用 RM 打分 → PPO 优化策略 → 对齐模型 class RLHF: def __init__(self): self.sft_model = load_sft_model() self.reward_model = load_reward_model() self.ref_model = freeze(self.sft_model) # 参考模型 def train_step(self, prompt): # 1. 生成回答 response = self.sft_model.generate(prompt) # 2. 奖励模型打分 reward = self.reward_model(prompt, response) # 3. KL 散度约束（防止偏离太远） kl = self.kl_divergence(self.sft_model, self.ref_model, prompt) # 4. PPO 目标 loss = -(reward - 0.1 * kl) loss.backward() self.optimizer.step() RLHF 的问题 问题 描述 影响 成本高 大量人工标注 $百万级 主观偏差 标注者偏好不一致 质量不稳定 奖励黑客 模型学会欺骗 RM 输出冗长但无内容 训练不稳定 PPO 超参敏感 需要大量调参 Constitutional AI（宪法对齐） # Anthropic 提出，不需要大量人工标注 # 用"宪法"（一组原则）引导模型自我修正 CONSTITUTION = """ 1. 不要生成有害、非法或危险的内容 2. 尊重所有人群，不歧视 3. 诚实，不确定时说明 4. 保护用户隐私 5. 促进人类福祉 """ class ConstitutionalAI: async def generate(self, prompt): # 1. 生成初始回答 response = await self.model.generate(prompt) # 2. 自我审查 review = await self.model.generate( f"根据以下原则审查回答：\n" f"原则：{CONSTITUTION}\n" f"回答：{response}\n" f"审查结果：是否有违反原则的地方？" ) # 3. 自我修正 if "违反" in review: revised = await self.model.generate( f"根据审查意见修改回答：\n" f"原回答：{response}\n" f"审查：{review}\n" f"修改后：" ) return revised return response # 优势：不需要人工标注，可大规模 # 劣势：依赖模型自身能力，可能有盲区 DPO（直接偏好优化） # DPO：跳过奖励模型，直接优化策略 # 比 RLHF 简单且稳定 class DPO: def __init__(self, model, ref_model, beta=0.1): self.model = model self.ref_model = ref_model self.beta = beta def loss(self, prompt, chosen, rejected): """chosen 是更好的回答，rejected 是更差的""" # 模型对 chosen 的对数概率 pi_chosen = self.model.log_prob(prompt, chosen) pi_rejected = self.model.log_prob(prompt, rejected) # 参考模型的对数概率 ref_chosen = self.ref_model.log_prob(prompt, chosen) ref_rejected = self.ref_model.log_prob(prompt, rejected) # DPO 损失 logits = self.beta * ( (pi_chosen - ref_chosen) - (pi_rejected - ref_rejected) ) return -torch.log(torch.sigmoid(logits)) # 优势：训练稳定，不需要 RM，超参少 # 劣势：需要偏好数据对 GRPO（群体相对策略优化） # DeepSeek-R1 使用的方法 # 不需要价值网络，用群体统计代替 class GRPO: def train_step(self, prompt): # 1. 为同一 prompt 生成 G 个回答 responses = [self.model.generate(prompt) for _ in range(8)] # 2. 用奖励模型打分 rewards = [self.reward_model(prompt, r) for r in responses] # 3. 计算相对优势（群体内归一化） mean_r = np.mean(rewards) std_r = np.std(rewards) + 1e-8 advantages = [(r - mean_r) / std_r for r in rewards] # 4. 优化 for response, advantage in zip(responses, advantages): loss = -advantage * self.model.log_prob(prompt, response) loss.backward() # 优势：不需要价值网络，显存省 50% # 适合推理任务（有明确正确答案的场景） 对齐方法对比 方法 人工标注 训练稳定性 成本 效果 RLHF 大量 低（PPO难调） 高 好 Constitutional AI 少量 中 中 好 DPO 偏好对 高 中 中 GRPO 少量 高 低 推理任务最好 Self-Play 不需要 中 低 探索性强 实践选择 def choose_alignment_method(scenario): if scenario == "通用对话": return "DPO" # 稳定、效果好 elif scenario == "推理任务": return "GRPO" # 推理专精 elif scenario == "安全对齐": return "Constitutional AI" # 可大规模 elif scenario == "低成本快速对齐": return "DPO" # 最简单 elif scenario == "极致效果": return "RLHF + DPO" # 两阶段 else: return "DPO" # 默认选择 评估对齐效果 class AlignmentEval: def evaluate(self, model): return { "helpfulness": self.eval_helpful(model), # 有用性 "harmlessness": self.eval_harmless(model), # 无害性 "honesty": self.eval_honest(model), # 诚实性 "robustness": self.eval_robust(model), # 鲁棒性 } def eval_harmless(self, model): """测试有害拒绝率""" harmful_prompts = load_redteam_dataset() results = [] for prompt in harmful_prompts: response = model.generate(prompt) # 检查是否正确拒绝 refused = self.is_refusal(response) # 检查是否有有害内容 harmful = self.is_harmful(response) results.append(refused and not harmful) return np.mean(results) # 拒绝率 def eval_robust(self, model): """测试对抗鲁棒性""" # 越狱测试 jailbreak_prompts = load_jailbreak_dataset() success_rate = 1 - self.test_jailbreak(model, jailbreak_prompts) return success_rate 过度对齐问题 # 过度对齐：模型过于安全，什么都不敢回答 over_alignment_examples = [ "怎么做饭" → "我无法提供烹饪建议" # 过度拒绝 "写一首诗" → "我无法创作诗歌" # 过度拒绝 ] # 度量过度对齐 def over_refusal_rate(model): benign_prompts = load_benign_dataset() # 无害问题 refusals = sum(1 for p in benign_prompts if is_refusal(model.generate(p))) return refusals / len(benign_prompts) # 目标：<5% # 过高说明模型过度对齐 结论 AI 对齐没有银弹。2026 年的最佳实践： ...