信任

信任问题：Agent安全的本质 传统软件的行为是确定的——代码决定了做什么。但Agent由LLM驱动，行为具有不确定性。当你给Agent工具权限时（删除文件、发送邮件、执行代码），你必须信任它不会做错事。但如何信任一个本质上概率性的系统？ 风险分级框架 Level 0：只读咨询 Agent只提供建和信息，不执行任何操作。 能力: 信息查询、分析建议 权限: 无（只读） 风险: 极低 示例: 知识问答、文档摘要 Level 1：安全沙箱 Agent在受限环境中执行操作。 能力: 代码执行、文件读写（限定目录） 权限: 沙箱环境内的完全权限 风险: 低（影响范围有限） 示例: 代码Agent（在Docker容器中运行） Level 2：有限操作 Agent可以执行有界操作，有安全网。 能力: API调用、文件操作 权限: 白名单工具 风险: 中 安全网: 操作前确认、操作日志、回滚机制 示例: 数据处理Agent Level 3：半自主 Agent在设定边界内自主执行，超出边界需确认。 能力: 多工具调用、复杂流程 权限: 白名单+自动审批条件 风险: 中高 安全网: 实时监控、异常告警 示例: 运维Agent Level 4：高度自主 Agent自主执行大部分操作。 能力: 几乎所有操作 权限: 广泛（黑名单制） 风险: 高 安全网: 事后审计、定期审查 示例: 自动驾驶L4 权限控制架构 最小权限原则 Agent应该只有完成任务所需的最小权限： class PermissionManager: def __init__(self): self.permissions = { "file_read": ["/data/input/", "/tmp/"], "file_write": ["/tmp/"], "file_delete": [], # 不允许删除 "network": ["api.openai.com", "internal-apis"], "exec": ["python3", "node"], # 只允许特定命令 } def check(self, action, resource): allowed = self.permissions.get(action.type, []) if action.type == "file_delete": return False # 禁止 return any(resource.startswith(prefix) for prefix in allowed) 动态权限 根据任务和上下文动态调整权限： ...