可控性

AGI 安全不是杞人忧天 2026 年，AI 系统已经能自主完成研究、编程、交易等复杂任务。当系统从"工具"变为"行动者"，安全问题就从"会不会出错"变成了"会不会失控"。 四层安全框架 ┌──────────────────────────────┐ │ 第四层：社会治理层 │ 法律、法规、国际协议 ├──────────────────────────────┤ │ 第三层：系统安全层 │ 权限控制、沙箱、监控 ├──────────────────────────────┤ │ 第二层：对齐层 │ RLHF、Constitutional AI ├──────────────────────────────┤ │ 第一层：模型安全层 │ 训练数据、推理安全 └──────────────────────────────┘ 第一层：模型安全 训练数据安全 # 数据安全审计流水线 class DataAuditor: def audit(self, dataset): report = { "toxicity": self.check_toxicity(dataset), "bias": self.check_bias(dataset), "pii": self.check_pii(dataset), "copyright": self.check_copyright(dataset), } # 拒绝不合格数据 if report["toxicity"] > 0.05: dataset = self.filter_toxic(dataset) if report["pii"] > 0: dataset = self.redact_pii(dataset) return dataset, report 推理安全 威胁 描述 防御 Prompt 注入 恶意指令覆盖系统提示 输入过滤 + 指令隔离 越狱攻击 绕过安全限制 RLHF + 红队测试 数据投毒 污染训练数据 数据来源验证 模型窃取 通过API逆向模型 速率限制 + 输出过滤 第二层：对齐 对齐的核心目标：让 AI 的行为符合人类意图和价值观。 ...