据 Anthropic 官方更新(https://www.anthropic.com/news/an-update-on-independent-evaluators )10 月 15 日发布,上个月公司承诺更强的独立第三方评估,并签署白宫超级智能协议,承诺与外部审计或评估机构合作;当天宣布,已经开始向非营利前沿模型评估机构 METR 的一个团队提供类员工访问权限。Minderlist 10 月 17 日汇总补充(https://www.minderlist.com/navigateurs-modeles-ouverts-et-audits-les-cinq-signaux-ia-du-17-octobre/ ),六名 METR 成员拿到材料、工位与内部工具,但客户数据、受商业秘密保护的内容与模型架构仍被排除在范围之外;METR 将独立发表结论,并且能够指出自己认为不合理的删改要求。
这与过去常见的外部评估有本质区别:过去实验室把打包好的测试集与结果交给第三方盖章,评估方看不到内部流程;类员工访问意味着评估者可以走进工作现场,追问数据从哪来、测试怎么设计、失败案例为什么没有出现在报告里。
为什么访问范围要刻意留出三块禁区?
客户数据涉及隐私与合同责任,商业秘密关系竞争,模型架构则是实验室的核心资产,三块不开放是可以理解的边界设计。但风险也藏在这里:如果安全评估最关键的证据恰好落在架构或客户数据里,类员工访问就可能变成参观。METR 能够质疑删改要求,是这套安排里最有分量的条款——它把拒绝权部分交给了评估方,而不是让实验室决定什么能被看见。
独立评估的公信力来自哪里?
METR 的历史角色是用可复现的时间序列测量模型能力进步速度,它不隶属任何实验室,结论独立发表,这两点构成公信力的基础。但员工级访问也会带来新问题:评估者长期进入组织,会不会在潜移默化中被流程同化,最终默认实验室的叙事?保持结论独立发表与公开方法,是抵抗这种同化的主要制度设计。
这套模式会不会成为行业标配?
白宫协议要求各家与独立审计方合作,Anthropic 率先给出类员工访问的样板,其他实验室后续很难退回打包送检的旧模式。对监管者,真正要观察的不是谁宣布了合作,而是 METR 第一份独立报告什么时候发表、有没有被实验室以商业秘密为由压下关键段落。安全叙事的可信度,最终要由第一份不客气的报告来证明。
类员工访问具体能看到什么?
按照公布的安排,METR 团队拿到的是开展评估所必需的材料、办公空间与内部工具,而不是无差别进入全部系统。评估者可以追踪模型训练后的对齐流程、安全事件内部复盘、红队测试记录与上线门禁,但客户数据、受保密协议保护的商业内容与模型架构仍在围墙之外。这种有限开放设计的好处是可控,隐患是恰恰最敏感的部分看不到,结论覆盖面会天然受限,所以 METR 必须在报告里写清自己没看到什么,而不是只写看到的。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论