给智能体开放工具权限,是最容易被低估的风险点。一个能删文件、能发邮件的智能体,错了就是事故。
第一层控制是什么?
是最小权限。只给完成任务必需的工具,不给备用工具。用不上数据库,就不要给写库权限。
很多人图方便给全权限,结果是任何一次误判都能造成实质损害。权限要按任务配,不按角色配。
第二层控制是什么?
是操作分级。把工具动作分成只读、可逆写、不可逆写三类。只读放开,可逆写加日志,不可逆写必须人工确认。
删除、支付、对外发送、修改权限,这四类一律归入不可逆,必须走确认流程。
第三层控制是什么?
是参数校验。不要相信模型生成的参数,要在执行前校验。路径是否在允许目录内、ID 是否合法、金额是否超限。
校验要在代码层做,不要在提示词里做。提示词可以被绕过,代码不会。
第四层控制是什么?
是频率与额度。限制单位时间内的调用次数、限制单次操作的金额或数量。防止死循环和批量误操作。
额度控制还有一个作用:能在异常时自动刹车,不用等人发现。
怎么审计?
每一次工具调用都要记录:谁调的、调了什么、参数是什么、结果是什么。日志要能回放。
审计日志要独立存储,不能和业务数据放在一起。否则被篡改后无法取证。
怎么处理越权尝试?
模型可能被提示注入诱导去调用不该用的工具。防护要在执行层:工具白名单写死,不在名单里的一律拒绝。
拒绝要记录,并触发告警。频繁越权尝试通常意味着有人在试探。
怎么做到既安全又不难用?
把常用操作封装成低风险接口。比如不直接给 shell,给几个固定脚本。既满足需求,又限制范围。
给确认流程设快捷通道。低金额、低风险的批量操作,可以一次性确认,不必逐条点。
最后一句:权限设计的目标不是防住模型,是防住误判。人会累,模型不会,但两者都会错。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论