安全框架

Agent 越多，安全越像地基 9 月 28 日同一天，Anthropic 发布 Sonnet 5.5、Manus 跳到 2.0，NVIDIA 也拿出了一个看似不声不响、实则关键的动作：开放智能体安全平台（Open Agent Safety Platform）。它要做的事，是从软件层一直监控到芯片层，盯着智能体的一举一动。据介绍，已有超过一百家机构参与共建。当 Agent 从「聊天」走向「操作你的邮箱、账户、代码库」，传统只看模型输出的安全审核已经不够了——你得知道它在运行时到底访问了什么、改了什么、花了多少钱。 为什么要下沉到芯片 应用层的日志可以被 Agent 自己篡改或绕过，尤其是当它有了独立身份和自主权之后。把监控下沉到硬件和运行时，意味着安全策略由底层强制执行：模型准备调用某个高风险工具时，系统级可以直接拦截，而不是事后审计。这相当于给数字员工装上了不可绕过的门禁和监控探头。对金融、医疗、政务这类高合规场景，这种「硬隔离」比「软提示」可靠得多。平台还试图把常见的风险模式——比如越权访问数据库、异常对外转账、未经确认就发送邮件——整理成可复用的策略模板，让企业不必从零开始编写规则。 开放平台的算计 NVIDIA 把它做成开放平台而非私有产品，有两层算盘。一是卡位：Agent 安全终将成为标配，谁的监控层成为事实标准，谁就握住这一代系统的地基；二是绑定算力：安全监控跑在自家 GPU 上，等于把「安全」变成了又一个卖卡的理由。百余家机构的参与，则是在快速堆出生态，避免又变成一家公司的独角戏。 收束 Agent 越聪明、越自主，安全就越不能靠「提示它别作恶」。NVIDIA 这步棋的方向是对的：把约束写进运行时、焊在硬件里。对企业，现在评估 Agent 平台时，除了跑分和价格，务必多问一句——它的行为可观测、可拦截、可审计吗？答不上来的，迟早出事。 去论坛讨论 关于「Agent安全」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

引言 传统软件有成熟的安全测试框架（OWASP Top 10、NIST CSF等）。但AI系统的安全测试更加复杂——不仅涉及传统的安全漏洞，还涉及AI特有的威胁（提示注入、模型投毒、对抗样本等）。 2026年，随着AI系统的大规模部署，AI安全测试框架已经从学术研究走向行业标准。本文将系统介绍如何搭建AI安全测试框架。 一、AI安全威胁全景 1.1 OWASP LLM Top 10 OWASP（Open Web Application Security Project）发布了LLM应用的安全威胁列表： LLM01: 提示注入（Prompt Injection） LLM02: 不安全的输出处理（Insecure Output Handling） LLM03: 训练数据投毒（Training Data Poisoning） LLM04: 模型拒绝服务（Model Denial of Service） LLM05: 供应链漏洞（Supply Chain Vulnerabilities） LLM06: 敏感信息泄露（Sensitive Information Disclosure） LLM07: 不安全的插件设计（Insecure Plugin Design） LLM08: 过度代理（Excessive Agency） LLM09: 过度依赖（Overreliance） LLM10: 模型窃取（Model Theft） 1.2 NIST AI风险管理框架 NIST AI RMF提供了AI风险管理的结构化方法： Govern（治理）→ Map（映射）→ Measure（测量）→ Manage（管理） 二、测试框架设计 2.1 框架架构 ┌─────────────────────────────────────────┐ │ 测试编排层 │ │ (Test Orchestration) │ ├──────────┬──────────┬───────────────────┤ │ 漏洞扫描 │ 渗透测试 │ 持续监控 │ │(Vuln. │(Pen. │(Continuous │ │ Scanning)│ Testing) │ Monitoring) │ ├──────────┴──────────┴───────────────────┤ │ 测试资产库 │ │ (Test Asset Library) │ │ - 攻击样本库 │ │ - 漏洞签名库 │ │ - 测试用例库 │ └─────────────────────────────────────────┘ 2.2 测试类型 静态测试 ...