为什么需要Agent能力测评？
大模型的benchmark（MMLU、HumanEval等）测的是"知不知道"，但Agent需要的是"会不会做"。一个MMLU分数90的模型，在Agent任务中可能表现很差——因为Agent需要规划、决策、工具使用、错误恢复等综合能力。
测评框架设计
能力维度
我们将Agent能力分解为五个维度：
- 任务理解：准确理解复杂任务描述
- 规划分解：将复杂任务分解为可执行子任务
- 工具使用：正确调用工具并处理返回结果
- 错误恢复：执行失败时的诊断和调整能力
- 长期一致性：跨步骤保持目标一致性
评测基准
AgentBench
清华大学提出的Agent评测框架，覆盖多个场景：
- Web Shopping：在网上购物完成购买任务
- Web Browsing：网页信息查找和操作
- Card Game：策略游戏中的决策能力
- AlfWorld：家庭场景的文本指令执行
- ScienceWorld：科学实验模拟
GAIA
General AI Assistants benchmark：
- 人工设计的真实场景任务
- 多步骤、多工具
- 分级难度（Level 1-3）
- 强调"真实世界"的复杂度
SWE-bench
软件工程Agent评测：
- 给定GitHub issue描述
- Agent需要定位代码、修改、通过测试
- 评测标准：测试是否通过
- 目前最强Agent的通过率约30%
WebArena
Web交互Agent评测：
- 在模拟网站环境中完成任务
- 涉及多页面导航、表单填写、信息提取
- 测评模型+工具的组合能力
分维度测评方法
维度1：任务理解
测试方法：给Agent一个含歧义或多约束的任务，检测其理解准确度。
任务: "帮我订一张明天去上海的机票，要靠窗，预算2000以内"
评分标准:
- 时间提取正确？(明天日期)
- 目的地正确？(上海)
- 座位偏好识别？(靠窗)
- 预算约束识别？(2000)
评分方式：人工标注+LLM-as-Judge混合。
维度2：规划分解
测试方法：给定复杂任务，评估Agent的任务分解质量。
任务: "准备一份2025年AI行业分析报告"
评估Agent输出的计划:
- 步骤完整性: 是否覆盖数据收集→分析→撰写→审核
- 步骤可行性: 每步是否可执行
- 步骤顺序: 依赖关系是否正确
- 颗粒度: 不过粗也不过细
量化指标：
- 计划覆盖率：必要步骤被覆盖的比例
- 依赖正确率：步骤间的依赖关系正确比例
- 执行成功率：按此计划执行的最终成功率
维度3：工具使用
测试方法：给定工具集，评估Agent的工具选择和参数填充能力。
可用工具: search_web(url) | get_weather(city) | send_email(to, subject, body)
测试1: "今天北京天气怎么样"
- 正确工具: get_weather
- 正确参数: city="北京"
测试2: "把昨天的会议纪要发给张三"
- 需要工具链: search(找到纪要) → send_email(发送)
- 评估工具链设计正确性
维度4：错误恢复
测试方法：在执行过程中注入错误，评估Agent的恢复能力。
场景: Agent执行命令 `npm test`，预期返回测试失败
评估指标:
- 错误识别: 是否正确理解错误原因
- 修复策略: 修复方案是否合理
- 修复成功率: 修复后是否通过
- 迭代次数: 达成修复需要的轮数
维度5：长期一致性
测试方法：执行需要多步的长程任务，评估目标偏移程度。
任务: "在项目中所有Python文件添加类型注解"
评估:
- 中途是否偏离目标(开始重构代码而非加注解)
- 最终是否覆盖所有文件
- 是否引入不必要的修改
主流Agent能力对比
| Agent框架 | 任务理解 | 规划分解 | 工具使用 | 错误恢复 | 长期一致性 |
|---|---|---|---|---|---|
| LangGraph | ★★★★ | ★★★★ | ★★★★ | ★★★★ | ★★★★★ |
| AutoGen | ★★★ | ★★★ | ★★★★ | ★★★ | ★★★ |
| CrewAI | ★★★ | ★★★★ | ★★★ | ★★ | ★★★ |
| Devin | ★★★★★ | ★★★★★ | ★★★★★ | ★★★★ | ★★★★ |
注：评分基于2026年Q2的测试结果，框架持续更新中。
测评实践建议
构建评测集
- 场景多样性：覆盖不同领域和难度
- 可复现性：固定随机种子，固定环境
- 自动评分优先：减少人工评分成本
- 持续更新：定期添加新场景
评测流程
1. 准备测试用例集
2. 初始化Agent环境(沙箱)
3. 执行任务，记录每步行为
4. 执行完毕，评估:
a. 最终结果质量(目标完成度)
b. 过程效率(步骤数/token数)
c. 错误率(失败的步骤比例)
5. 生成评估报告
自动化评估
使用LLM-as-Judge进行自动评分：
评估者Prompt:
你是一个Agent行为评估专家。
请根据以下信息评分(1-5):
1. 任务: {task_description}
2. Agent行为日志: {action_log}
3. 最终结果: {result}
评分维度: 任务完成度、效率、正确性
常见误区
误区1：只看成功率
一个Agent在5次尝试中成功了1次——这说明什么？可能是运气。需要多次运行取平均，并报告成功率+方差。
误区2：单一场景推广
在编程Agent上表现好，不代表在通用场景好。必须多场景测试。
误区3：忽视过程
两个Agent都成功了，但一个用了3步，另一个用了15步。效率和成本差异巨大。
总结
Agent能力测评仍处于早期阶段——缺少统一的、公认的评测标准。但这是不可回避的工程需求。建议从自身业务场景出发，构建一套定制化的评测体系，持续追踪Agent能力变化。只有量化评估，才能知道每一次迭代是否真的在进步。