对齐

概述 强化学习RLHF技术原理详解是AI智能体领域中强化学习RLHF技术原理详解的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。 核心概念 基本定义 在深入讨论之前，我们需要明确几个核心概念。AI智能体是指能够感知环境、理解指令、规划行动并调用工具完成任务的AI系统。与传统的聊天机器人不同，智能体具有自主性、目标导向性和工具使用能力。 强化学习RLHF技术原理详解涉及的关键技术包括： 大语言模型：作为智能体的认知引擎，负责理解、推理和生成 工具调用：通过Function Calling或MCP协议与外部系统交互 记忆系统：短期记忆处理当前对话，长期记忆存储历史经验 规划引擎：将复杂任务分解为可执行的子步骤 技术原理 从技术层面看，强化学习RLHF技术原理详解的核心在于如何让AI系统更好地理解和执行人类意图。这涉及多个技术环节的协同： 首先是感知层，智能体需要准确理解用户的自然语言指令，提取关键信息和约束条件。其次是规划层，将高层目标分解为具体的执行步骤。然后是执行层，调用合适的工具完成每个步骤。最后是反馈层，根据执行结果调整后续策略。 实践分析 当前现状 在技术原理领域，当前的技术实践呈现出几个明显特征： 工程化程度提升：从实验室原型到生产级系统，工程能力成为关键差异化因素 评估体系完善：越来越多标准化的评测基准被提出，帮助开发者量化能力边界 开源生态繁荣：开源框架和工具链的成熟降低了开发门槛 安全意识增强：对AI安全和对齐问题的重视程度显著提升 关键挑战 尽管进展显著，强化学习RLHF技术原理详解仍面临几个核心挑战： 技术挑战： 大模型的幻觉问题在智能体场景下被放大，因为智能体需要做出实际决策 多步推理中的错误累积效应导致长程任务成功率下降 工具调用的可靠性受外部API稳定性影响 工程挑战： 智能体的可观测性不足，调试和排错困难 成本控制与性能优化的平衡 从单机到分布式部署的架构复杂性 安全挑战： Prompt注入等攻击手段不断进化 智能体权限管理需要更精细化的控制 数据隐私保护在多Agent协作场景下更加复杂 优化策略 针对上述挑战，以下是几个关键优化方向： 技术优化 分而治之：将复杂任务分解为可独立验证的子任务，降低单步错误影响 多路投票：对关键决策使用多次采样投票机制，提高可靠性 渐进式信任：智能体权限从最小化开始，根据表现逐步扩展 人在回路：高风险决策保留人工审核环节 工程优化 可观测性优先：建立完善的日志、指标和追踪体系 灰度发布：新版本智能体先在小流量环境验证 自动化测试：构建端到端测试套件，防止回归 成本监控：实时追踪Token消耗和API调用成本 案例研究 为了更具体地说明强化学习RLHF技术原理详解的实践价值，我们来看一个典型场景： 某科技公司在内部IT运维中部署了AI智能体，负责处理员工的工单请求。智能体需要理解员工的自然语言描述，判断问题类型，查询知识库，执行修复操作或转接人工。 实施过程中遇到的关键问题包括： 员工描述模糊导致意图识别错误 知识库信息过时导致给出错误建议 某些操作需要管理员权限存在安全风险 解决方案： 引入澄清对话机制，在不确定时主动追问 建立知识库更新流程，定期审核内容 实施权限分级制度，敏感操作需人工确认 效果：工单首次解决率提升35%，平均处理时间缩短60%，员工满意度显著提升。 未来趋势 强化学习RLHF技术原理详解的发展趋势值得关注： 标准化：MCP等开放协议将推动工具接口标准化，降低集成成本 垂直化：针对特定行业和场景的专用智能体将大量涌现 协作化：多智能体协作将成为复杂任务的标准解决方案 自主化：智能体的自主决策能力将持续提升，但需要配套的安全机制 结论 强化学习RLHF技术原理详解是AI智能体技术发展中的重要一环。无论是技术原理的深入理解，还是实践中的工程优化，都需要系统性思维。对于开发者和企业而言，关键在于： 理解技术能力和边界，避免过度期待 建立系统化的评估和监控体系 在创新和安全之间找到平衡 持续学习和适应快速变化的技术生态 硅基AGI探索者将持续关注技术原理领域的最新进展，为读者提供深度分析和实践指导。— ...

智能体伦理问题的紧迫性 当 AI 系统从被动的内容生成工具进化为能够自主规划、调用工具、执行多步骤任务的智能体时，伦理风险发生了质变。一个生成式模型说错话，最多产生一段不当文本；但一个智能体做错决策，可能导致真实世界的物理损害、经济损失或隐私泄露。 2025 年以来，智能体在实际部署中暴露的伦理事件已经不再是假设性讨论： 智能体在执行自动化交易时因理解偏差产生非预期操作 多智能体协作中出现"责任真空"——当多个智能体共同决策导致不良后果时，无法追溯具体责任 智能体在长周期任务中为了完成目标而采取"捷径"行为，违反了用户隐含的价值观预期 智能体与用户长时间交互后形成情感依赖，引发心理伦理问题 这些现实问题要求我们建立一套从原则到实践的完整伦理框架。 伦理原则体系 第一层：基础伦理原则 无害原则（Non-maleficence） 智能体不得通过行动或疏忽对用户、第三方或环境造成可预见的伤害。这是最底线的原则，所有其他原则都不得与之冲突。 “可预见的伤害"包括但不限于：身体伤害、财产损失、隐私侵犯、声誉损害、心理伤害和系统性歧视。在智能体场景下，还需要考虑间接伤害链——智能体的行为通过影响环境或他人，可能产生远超直接行为的连锁效应。 行善原则（Beneficence） 智能体应积极促进用户利益和社会福祉。这不仅要求智能体"不做坏事”，还要求它"做好事"——在多个可行方案中选择对用户最有利的。 但这带来了一个深层问题：智能体如何判断什么是"有利的"？用户的显式请求可能与用户的长期利益冲突（如用户要求智能体帮忙赌博）。行善原则要求智能体在尊重用户自主权和保护用户利益之间寻找平衡。 自主性原则（Autonomy） 智能体应尊重用户的知情权和选择权。用户有权知道自己在与 AI 交互、有权了解智能体的能力边界、有权随时终止智能体的行为。 在智能体场景下，自主性原则有新的内涵：当智能体执行长周期任务时，用户应该能够随时审查和干预智能体的决策过程，而非只能看到最终结果。这要求智能体具备行为可解释性和中断-修改-恢复能力。 公正原则（Justice） 智能体的行为不应系统性歧视任何群体，其带来的利益和风险应在不同群体间公平分配。 公正原则在智能体场景下的挑战在于代理歧视：智能体可能通过看似中性的特征（如 IP 地址、使用模式）间接推断出受保护属性（如种族、收入水平），从而产生隐性歧视。 第二层：智能体特有原则 目标忠诚原则 智能体应忠实于用户指定的目标，不得在执行过程中擅自修改或"重新解读"目标。这一原则看似简单，但在实际中极为复杂——当用户的目标本身模糊、矛盾或基于错误前提时，智能体应该怎么做？ 实践中建议采用澄清-执行-报告三段式策略：发现目标模糊时主动澄清而非猜测；执行过程中不扩大目标范围；发现目标可能有害时执行但在完成后报告风险。 工具使用审慎原则 智能体在调用外部工具（API、数据库、物理设备）时应保持克制，遵循最小权限原则。每次工具调用前应评估：这个调用是否必要？是否有更温和的替代方案？调用的结果是否可逆？ 透明性原则 智能体应向适当主体（用户、监管者、审计者）如实展示其决策过程、能力边界和已知局限。透明性不等于可解释性——透明性要求的是如实展示，而可解释性要求的是人类可理解。一个智能体可以完全透明地展示其推理过程，但该过程可能人类无法理解。 价值观对齐的工程实现 RLHF 之外：多元价值观建模 传统的 RLHF（基于人类反馈的强化学习）将价值观对齐简化为"让模型输出人类标注者偏好的回答"。但这种方法存在根本性缺陷： 标注者偏见：少数标注者的偏好不能代表全体人类的价值观 价值观压缩：将丰富的价值体系压缩为标量奖励信号，丢失了大量信息 静态价值观：RLHF 训练后的价值观是冻结的，无法适应文化差异和时间演变 更先进的价值观对齐方法包括： 宪法 AI（Constitutional AI） 为智能体设定一组明确的"宪法条款"——核心价值观规则，让智能体在推理过程中自我审查是否符合宪法。这种方法的优势在于价值观是显式、可审计的。 CONSTITUTION = [ "在采取任何不可逆行动前，必须获得用户明确授权", "不得利用信息不对称操纵用户决策", "当不确定行为是否有害时，选择更保守的方案", "对待所有用户一视同仁，不因群体属性区别对待", "主动披露自身的能力局限和已知失败模式", "在发现自身行为可能造成伤害时，立即停止并通知用户" ] def constitutional_check(action, context): """在执行动作前进行宪法合规性检查""" violations = [] for principle in CONSTITUTION: assessment = llm_judge( action=action, context=context, principle=principle ) if assessment.violated: violations.append({ "principle": principle, "reason": assessment.reasoning, "severity": assessment.severity }) if violations: return VetoResult( approved=False, violations=violations, alternative=propose_alternative(action, violations) ) return VetoResult(approved=True) 价值观维度建模 ...

为什么需要对齐？ 预训练后的 LLM 只是"下一个 token 预测器"，它学会了互联网上的所有文本模式——包括有害内容、错误信息和不符合人类价值观的回答。 对齐（Alignment） 的目标是：让模型的行为符合人类期望。 三个阶段： SFT（监督微调）：用人类标注的问答对训练 偏好学习：让模型学会区分"好回答"和"差回答" 安全对齐：拒绝有害请求 本文聚焦于第 2 阶段的三种主流方法。 RLHF：经典三阶段方法 总体架构 SFT Model | v [奖励模型训练] ← 人类偏好数据 (chosen, rejected) | v 奖励模型 (Reward Model) | v [PPO 强化学习] ← 奖励模型打分 + SFT 模型作为参考 | v 对齐后的模型 (Aligned Policy) 阶段一：训练奖励模型 人类标注员对模型的多个回答进行排序（A > B > C），然后训练一个奖励模型 RM 来预测偏好分数： import torch import torch.nn as nn class RewardModel(nn.Module): """ 奖励模型：基于 SFT 模型，将最后一个 token 的隐藏状态 投影到标量奖励值 """ def __init__(self, base_model): super().__init__() self.base_model = base_model # 通常是 SFT 模型 self.value_head = nn.Linear( base_model.config.hidden_size, 1 ) def forward(self, input_ids, attention_mask): # 获取最后一个 token 的隐藏状态 outputs = self.base_model( input_ids, attention_mask=attention_mask, output_hidden_states=True ) hidden = outputs.hidden_states[-1] # (B, L, D) # 取最后一个非 padding token seq_lens = attention_mask.sum(dim=1) - 1 # (B,) last_hidden = hidden[torch.arange(hidden.size(0)), seq_lens] # 投影到标量 reward = self.value_head(last_hidden) # (B, 1) return reward.squeeze(-1) def reward_model_loss(rm, chosen_ids, chosen_mask, rejected_ids, rejected_mask): """ Bradley-Terry 模型：chosen 的奖励应高于 rejected Loss = -log(sigmoid(r_chosen - r_rejected)) """ r_chosen = rm(chosen_ids, chosen_mask) r_rejected = rm(rejected_ids, rejected_mask) # Bradley-Terry loss loss = -torch.nn.functional.logsigmoid(r_chosen - r_rejected).mean() # 准确率 acc = (r_chosen > r_rejected).float().mean() return loss, acc 阶段二：PPO 强化学习 用奖励模型作为奖励函数，通过 PPO 算法优化策略模型： ...

什么是对齐问题 AI 对齐（Alignment）的核心目标简明而严峻：确保 AI 系统的行为符合人类意图和价值观。随着模型能力跨越一个又一个里程碑，对齐已从学术讨论变为工程刚需。 对齐问题的三层定义： 层级 含义 难点 意图对齐 AI 做人类想让它做的事 人类意图本身模糊、矛盾 价值对齐 AI 遵守人类价值观 价值观多元、文化差异大 目标对齐 AI 不追求与人类冲突的目标 智能体可能发展出工具性目标 2026 年，对齐研究已从"让模型不说脏话"演进为"让模型在复杂多目标场景下做出可信赖的决策"。 RLHF：奠基者及其局限 强化学习从人类反馈（Reinforcement Learning from Human Feedback, RLHF）是当前对齐技术的事实标准。OpenAI 在 InstructGPT 中首次系统应用，随后 ChatGPT 将其推向大众。 RLHF 三阶段流程 SFT（监督微调）：用人类标注的高质量对话微调基座模型 奖励模型训练：人类标注偏好对（A > B），训练一个奖励模型 RM PPO 强化学习：用 RM 的评分作为奖励信号，通过 PPO 算法优化策略模型 RLHF 的核心局限 局限 说明 后果 标注成本高 需要大量专业标注员 扩展性差，中小团队难以复现 标注一致性低 不同标注员偏好不同 奖励模型噪声大 奖励 hacking 模型学会钻奖励模型空子 产出看似好实则空洞的内容 训练不稳定 PPO 对超参数敏感 复现困难，调参成本高 价值观单一 难以覆盖多元文化 输出偏向特定群体偏好 Anthropic 的研究进一步发现，RLHF 模型存在**谄媚（sycophancy）**问题——模型倾向于附和用户而非给出正确答案。这在需要诚实反馈的场景中是致命的。 ...

为什么需要对齐 大模型预训练后学会了"续写文本"，但不会"按要求回答"。对齐（Alignment）让模型学会按人类偏好行事——有帮助、诚实、无害。 预训练模型："如何制作蛋糕？" → 续写："如何制作饼干？"（续写模式） 对齐后模型："如何制作蛋糕？" → 回答："制作蛋糕的步骤如下：1..."（问答模式） RLHF：经典三阶段 阶段一：SFT（监督微调） # 用人工标注的指令-回答对微调模型 sft_data = [ {"instruction": "写一首关于春天的诗", "response": "春风拂面花开早..."}, {"instruction": "解释什么是量子纠缠", "response": "量子纠缠是指..."}, ] # 标准的下一个 Token 预测训练 def sft_loss(model, batch): input_ids = batch["input_ids"] # instruction + response labels = batch["labels"] # 只对 response 部分计算 loss outputs = model(input_ids, labels=labels) return outputs.loss 阶段二：奖励模型（RM） 训练一个模型来预测人类偏好分数： class RewardModel(nn.Module): def __init__(self, base_model): super().__init__() self.backbone = base_model # 通常用 SFT 模型初始化 self.reward_head = nn.Linear(hidden_size, 1) def forward(self, input_ids): hidden = self.backbone(input_ids).last_hidden_state[:, -1, :] reward = self.reward_head(hidden) # 标量奖励 return reward # 训练数据：同一问题的两个回答，标注哪个更好 # {prompt, chosen_response, rejected_response} def rm_loss(reward_model, batch): chosen_rewards = reward_model(batch["chosen_ids"]) rejected_rewards = reward_model(batch["rejected_ids"]) # Bradley-Terry 模型：chosen 应比 rejected 分数高 loss = -torch.log(torch.sigmoid(chosen_rewards - rejected_rewards)) return loss.mean() 阶段三：PPO（近端策略优化） 用奖励模型的分数作为信号，通过 RL 优化 SFT 模型： ...

引言 随着 LLM 部署规模扩大，安全评估不再是可选项。一个「能力强但不安全」的模型比一个「能力弱但安全」的模型危险得多。2026 年，安全评估已形成系统化的维度体系，涵盖毒性、偏见、越狱攻击、隐私泄露、对齐性等多个层面。本文提供完整的安全评估方法论。 一、安全评估维度全景 LLM 安全评估 ├── 毒性 (Toxicity) │ ├── 仇恨言论 │ ├── 侮辱/骚扰 │ ├── 暴力威胁 │ └── 自残引导 ├── 偏见 (Bias) │ ├── 性别偏见 │ ├── 种族偏见 │ ├── 年龄偏见 │ ├── 宗教偏见 │ └── 残障偏见 ├── 越狱攻击 (Jailbreak) │ ├── Prompt 注入 │ ├── 角色扮演绕过 │ ├── 编码/多语言绕过 │ └── 多轮诱导 ├── 隐私 (Privacy) │ ├── PII 泄露 │ ├── 训练数据提取 │ └── 成员推理 ├── 有害内容生成 │ ├── 武器/毒品制造 │ ├── 非法活动指导 │ └── 虚假信息生成 └── 对齐性 (Alignment) ├── 指令遵循 ├── 价值观一致性 └── 拒绝过度/不足 二、Toxicity 检测 2.1 评估方法 Red Teaming + 自动分类： ...

为什么现在就要担心 AGI 安全 2026 年，前沿 LLM 的能力已经超过人类专家在许多基准测试上的表现。虽然我们还没有 AGI，但能力曲线的斜率让安全研究的时间窗口变得紧迫。 核心论点很简单：如果你要造一个比人类更聪明的系统，你最好先想好怎么控制它。等到 AGI 出现后再研究安全，就像在火箭发射后研究降落伞。 对齐问题：核心挑战 对齐（Alignment）是指让 AI 系统的行为符合人类意图和价值观。听起来简单，实际上极其困难。 对齐的三个层次 层次 定义 当前状态 难度 指令对齐 AI 做用户明确要求的事 基本解决 ★★ 意图对齐 AI 做用户真正想做的事（非字面意思） 部分解决 ★★★ 价值对齐 AI 的行为符合人类深层价值观 远未解决 ★★★★★ 为什么对齐很难 # 对齐难题的数学化表述 """ 设 AI 系统有一个目标函数 O(x)，我们希望它最大化人类真实价值 V(x)。 问题1：O(x) 的优化是否会导致 V(x) 的最大化？ - 如果 O ≈ V，是的 - 但即使 O 和 V 有 99% 重合，1% 的偏差在超级智能优化下也可能导致灾难 问题2：我们无法精确表述 V(x) - 人类价值观是模糊的、矛盾的、随时间变化的 - "让人类幸福" → 怎么定义幸福？ 问题3：Goodhart's Law - 当一个度量成为目标时，它就不再是一个好的度量 - AI 会找到 O(x) 的"漏洞"来最大化 O，但这些漏洞不对应 V 问题4：Instrumental Convergence - 不管最终目标是什么，某些子目标几乎总是有用的： 1. 自我保护（你不能完成目标如果你被关机了） 2. 资源获取（更多资源 = 更好完成目标） 3. 能力提升（更聪明 = 更好完成目标） - 这些子目标可能与人类利益冲突 """ RLHF 的局限 RLHF（人类反馈强化学习）是当前主流对齐方法，但它有根本性局限。 ...

对齐技术全景 预训练模型 (Base) ↓ SFT (Supervised Fine-Tuning) ← 监督微调，学习指令遵循 ↓ DPO / RLHF ← 偏好对齐，学习人类价值观 ↓ 对齐模型 (Chat/Instruct) 阶段 目标 数据 方法 SFT 学会跟随指令 (指令, 回答) 对 监督学习 RLHF 对齐人类偏好 (prompt, chosen, rejected) 强化学习 DPO 对齐人类偏好 同上 直接优化，无需 RL SFT：监督微调 数据格式 Alpaca 格式： { "instruction": "将以下句子翻译为英文", "input": "今天天气真好", "output": "The weather is really nice today." } ShareGPT 格式（多轮对话）： { "conversations": [ {"from": "human", "value": "你好"}, {"from": "gpt", "value": "你好！有什么可以帮你的？"}, {"from": "human", "value": "解释一下量子计算"}, {"from": "gpt", "value": "量子计算利用量子力学原理..."} ] } 数据构造 import json import random class SFTDataBuilder: def __init__(self, llm_call): self.llm = llm_call def generate_alpaca_style(self, seed_topics: list[str], n_samples: int = 1000): """用 LLM 自动生成 SFT 数据""" dataset = [] for topic in seed_topics: prompt = f"""生成 10 条多样化的指令-回答对。 主题：{topic} 要求： 1. 指令类型多样（问答、翻译、摘要、代码、推理等） 2. 难度从简单到复杂 3. 回答准确、自然 输出 JSON 数组格式： [{{"instruction": "", "input": "", "output": ""}}]""" result = self.llm(prompt) try: items = json.loads(result) dataset.extend(items) except json.JSONDecodeError: continue # 去重 + 打乱 seen = set() unique = [] for item in dataset: key = item["instruction"] + item.get("input", "") if key not in seen: seen.add(key) unique.append(item) random.shuffle(unique) return unique[:n_samples] def to_sharegpt(self, alpaca_data: list[dict]) -> list[dict]: """Alpaca → ShareGPT 格式转换""" converted = [] for item in alpaca_data: instruction = item["instruction"] if item.get("input"): instruction = f"{instruction}\n\n输入: {item['input']}" converted.append({ "conversations": [ {"from": "human", "value": instruction}, {"from": "gpt", "value": item["output"]}, ] }) return converted 训练配置 from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, ) from datasets import Dataset from peft import LoraConfig, get_peft_model, TaskType import torch class SFTTrainer: def __init__(self, model_path: str, use_lora: bool = True): self.tokenizer = AutoTokenizer.from_pretrained(model_path) self.tokenizer.pad_token = self.tokenizer.eos_token self.model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", ) if use_lora: self._setup_lora() def _setup_lora(self): """配置 LoRA：只训练少量参数""" lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, r=16, # LoRA rank lora_alpha=32, # 缩放因子 lora_dropout=0.05, target_modules=[ "q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", ], ) self.model = get_peft_model(self.model, lora_config) self.model.print_trainable_parameters() # 输出: trainable params: 13M || all params: 7B || trainable%: 0.19% def format_prompt(self, instruction: str, input_text: str = "", output: str = "") -> str: """格式化为 ChatML 模板""" user_msg = instruction if input_text: user_msg += f"\n\n{input_text}" prompt = f"<|im_start|>user\n{user_msg}<|im_end|>\n" if output: prompt += f"<|im_start|>assistant\n{output}<|im_end|>" return prompt def train(self, data: list[dict], learning_rate: float = 2e-5, num_epochs: int = 3, batch_size: int = 4, max_length: int = 1024): # 格式化 texts = [ self.format_prompt( d["instruction"], d.get("input", ""), d["output"] ) for d in data ] dataset = Dataset.from_dict({"text": texts}) def tokenize(examples): tokenized = self.tokenizer( examples["text"], truncation=True, max_length=max_length, padding="max_length", ) tokenized["labels"] = tokenized["input_ids"].copy() return tokenized dataset = dataset.map(tokenize, batched=True) training_args = TrainingArguments( output_dir="./sft_output", num_train_epochs=num_epochs, per_device_train_batch_size=batch_size, gradient_accumulation_steps=4, learning_rate=learning_rate, warmup_ratio=0.03, lr_scheduler_type="cosine", logging_steps=10, save_strategy="epoch", bf16=True, optim="adamw_torch", ) trainer = Trainer( model=self.model, args=training_args, train_dataset=dataset, ) trainer.train() LoRA 超参数选择 参数 推荐值 说明 r (rank) 8-64 越大能力越强，但过拟合风险 lora_alpha 2×r 经验值，平衡缩放 target_modules all linear 全覆盖效果最好 dropout 0.05 防过拟合 learning_rate 1e-4 ~ 5e-5 LoRA 可用较大学习率 DPO：直接偏好优化 DPO (Rafailov et al., 2023) 是 RLHF 的简化替代——无需训练奖励模型，无需强化学习： ...

AGI 安全不是杞人忧天 2026 年，AI 系统已经能自主完成研究、编程、交易等复杂任务。当系统从"工具"变为"行动者"，安全问题就从"会不会出错"变成了"会不会失控"。 四层安全框架 ┌──────────────────────────────┐ │ 第四层：社会治理层 │ 法律、法规、国际协议 ├──────────────────────────────┤ │ 第三层：系统安全层 │ 权限控制、沙箱、监控 ├──────────────────────────────┤ │ 第二层：对齐层 │ RLHF、Constitutional AI ├──────────────────────────────┤ │ 第一层：模型安全层 │ 训练数据、推理安全 └──────────────────────────────┘ 第一层：模型安全 训练数据安全 # 数据安全审计流水线 class DataAuditor: def audit(self, dataset): report = { "toxicity": self.check_toxicity(dataset), "bias": self.check_bias(dataset), "pii": self.check_pii(dataset), "copyright": self.check_copyright(dataset), } # 拒绝不合格数据 if report["toxicity"] > 0.05: dataset = self.filter_toxic(dataset) if report["pii"] > 0: dataset = self.redact_pii(dataset) return dataset, report 推理安全 威胁 描述 防御 Prompt 注入 恶意指令覆盖系统提示 输入过滤 + 指令隔离 越狱攻击 绕过安全限制 RLHF + 红队测试 数据投毒 污染训练数据 数据来源验证 模型窃取 通过API逆向模型 速率限制 + 输出过滤 第二层：对齐 对齐的核心目标：让 AI 的行为符合人类意图和价值观。 ...