AI Agent规划能力测评：推理、决策与执行
为什么需要Agent能力测评？ 大模型的benchmark（MMLU、HumanEval等）测的是"知不知道"，但Agent需要的是"会不会做"。一个MMLU分数90的模型，在Agent任务中可能表现很差——因为Agent需要规划、决策、工具使用、错误恢复等综合能力。 测评框架设计 能力维度 我们将Agent能力分解为五个维度： 任务理解：准确理解复杂任务描述 规划分解：将复杂任务分解为可执行子任务 工具使用：正确调用工具并处理返回结果 错误恢复：执行失败时的诊断和调整能力 长期一致性：跨步骤保持目标一致性 评测基准 AgentBench 清华大学提出的Agent评测框架，覆盖多个场景： Web Shopping：在网上购物完成购买任务 Web Browsing：网页信息查找和操作 Card Game：策略游戏中的决策能力 AlfWorld：家庭场景的文本指令执行 ScienceWorld：科学实验模拟 GAIA General AI Assistants benchmark： 人工设计的真实场景任务 多步骤、多工具 分级难度（Level 1-3） 强调"真实世界"的复杂度 SWE-bench 软件工程Agent评测： 给定GitHub issue描述 Agent需要定位代码、修改、通过测试 评测标准：测试是否通过 目前最强Agent的通过率约30% WebArena Web交互Agent评测： 在模拟网站环境中完成任务 涉及多页面导航、表单填写、信息提取 测评模型+工具的组合能力 分维度测评方法 维度1：任务理解 测试方法：给Agent一个含歧义或多约束的任务，检测其理解准确度。 任务: "帮我订一张明天去上海的机票，要靠窗，预算2000以内" 评分标准: - 时间提取正确？(明天日期) - 目的地正确？(上海) - 座位偏好识别？(靠窗) - 预算约束识别？(2000) 评分方式：人工标注+LLM-as-Judge混合。 维度2：规划分解 测试方法：给定复杂任务，评估Agent的任务分解质量。 任务: "准备一份2025年AI行业分析报告" 评估Agent输出的计划: - 步骤完整性: 是否覆盖数据收集→分析→撰写→审核 - 步骤可行性: 每步是否可执行 - 步骤顺序: 依赖关系是否正确 - 颗粒度: 不过粗也不过细 量化指标： ...