给智能体开放工具权限,是最容易被低估的风险点。一个能删文件、能发邮件的智能体,错了就是事故。

第一层控制是什么?

是最小权限。只给完成任务必需的工具,不给备用工具。用不上数据库,就不要给写库权限。

很多人图方便给全权限,结果是任何一次误判都能造成实质损害。权限要按任务配,不按角色配。

第二层控制是什么?

是操作分级。把工具动作分成只读、可逆写、不可逆写三类。只读放开,可逆写加日志,不可逆写必须人工确认。

删除、支付、对外发送、修改权限,这四类一律归入不可逆,必须走确认流程。

第三层控制是什么?

是参数校验。不要相信模型生成的参数,要在执行前校验。路径是否在允许目录内、ID 是否合法、金额是否超限。

校验要在代码层做,不要在提示词里做。提示词可以被绕过,代码不会。

第四层控制是什么?

是频率与额度。限制单位时间内的调用次数、限制单次操作的金额或数量。防止死循环和批量误操作。

额度控制还有一个作用:能在异常时自动刹车,不用等人发现。

怎么审计?

每一次工具调用都要记录:谁调的、调了什么、参数是什么、结果是什么。日志要能回放。

审计日志要独立存储,不能和业务数据放在一起。否则被篡改后无法取证。

怎么处理越权尝试?

模型可能被提示注入诱导去调用不该用的工具。防护要在执行层:工具白名单写死,不在名单里的一律拒绝。

拒绝要记录,并触发告警。频繁越权尝试通常意味着有人在试探。

怎么做到既安全又不难用?

把常用操作封装成低风险接口。比如不直接给 shell,给几个固定脚本。既满足需求,又限制范围。

给确认流程设快捷通道。低金额、低风险的批量操作,可以一次性确认,不必逐条点。

最后一句:权限设计的目标不是防住模型,是防住误判。人会累,模型不会,但两者都会错。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论