Agent评测

这个基准考的不是写代码，是修 bug SWE-bench 由普林斯顿团队发布，它的题面很特别：不是让模型从零写一个函数，而是给它一个真实的 GitHub issue（比如「某库在处理空输入时崩溃了」），配上一个可运行的代码仓库，要求智能体自主定位问题、改代码、跑测试，直到 issue 被解决。评判标准很硬核：测试用例通过才算 resolved，不靠人主观打分。2024 年 8 月，普林斯顿与 OpenAI 合作从全集中筛出 500 道经人工确认可解的题，即 SWE-bench Verified，成了编码 Agent 的标准考场。 分数的狂飙曲线 这个基准的进步速度堪称夸张。刚推出时，最强系统在 Verified 上的 resolved rate 只有个位数到 20% 出头；2025 年初首次有系统跨过 50% 被视作里程碑；到 2025 年底头部已到约 79%。进入 2026 年，分数进一步飙升——公开榜单上前沿模型（如 Claude Opus 5、GPT-5.6 这类）在 Verified 上的 resolved rate 已报到 96% 到 97% 区间，逼近「人类工程师在同样时间预算下约 90%」的参照线。OpenAI 在 2026 年的一份分析里也指出，八个月间公开拆分上前沿模型从 23.3% 提升到了 80.3%。 为什么涨得这么快 分数暴涨有两重原因。一是模型本身在变强，尤其代码与工具调用能力。二是 Agent 框架的贡献巨大：真正的高分不是裸模型刷出来的，而是「模型加脚手架」——智能体能跑命令、读报错、改文件、反复试错。这也是为什么 SWE-bench 测的是端到端系统而非纯模型：给模型配一个能自主跑测试、看日志的循环，分数能涨一大截。 它暴露的问题 但 97% 这个数字要冷静看。一方面，题目分布偏 Python 生态、偏已知 issue，换个语言或更暧昧的需求，分数立刻掉。另一方面，高分也意味着基准正在被「刷饱和」——题解套路被模型学透，区分度下降。这也是为什么社区不断推新拆分、新难度。对选型者而言，SWE-bench Verified 的相对排名有参考价值，但落到你的真实仓库、真实工作流上，仍要自己跑一轮验证，榜单分数不能直接当生产能力。 ...

为什么Agent评测比模型评测难 评估一个大语言模型可以给一道选择题，评估一个Agent需要给它一个完整任务并观察其行为序列。Agent评测面临三个独特挑战：任务开放性、行为多路径、环境依赖性。 评测维度框架 五维评估模型 我们提出五维Agent评估框架： 任务完成率：能否完成给定任务 路径效率：完成任务用了多少步 工具使用质量：工具调用是否恰当、参数是否正确 错误恢复能力：遇到错误能否自主恢复 自主决策能力：在模糊指令下的判断质量 任务完成率评测 任务分层设计 L1 - 简单任务（1-3步） 例：查询今天的天气 L2 - 中等任务（4-8步） 例：查找北京到上海的机票并比较三个航班的价格 L3 - 复杂任务（9-20步） 例：分析竞品网站并生成包含定价和功能对比的报告 L4 - 开放任务（20+步，目标模糊） 例：帮我规划一个提升产品用户体验的方案 评测协议 class AgentEvaluator: def __init__(self, tasks, criteria): self.tasks = tasks # 分层任务集 self.criteria = criteria # 评分标准 def evaluate(self, agent, n_runs=3): results = {} for level, tasks in self.tasks.items(): level_results = [] for task in tasks: run_results = [] for run in range(n_runs): # 执行任务 trajectory = agent.execute(task) # 评估 score = self._score_task(task, trajectory) run_results.append(score) level_results.append({ "task": task, "scores": run_results, "mean": np.mean(run_results), "std": np.std(run_results) }) results[level] = level_results return results def _score_task(self, task, trajectory): # 任务是否完成 completion = self._check_completion(task, trajectory) # 过程是否正确 process = self._check_process(task, trajectory) # 输出质量 quality = self._check_quality(task, trajectory) return 0.5 * completion + 0.3 * process + 0.2 * quality 通过率基线 基于主流Agent的测试基线（2026年）： ...

引言 评测是衡量Agent能力的唯一客观标准。2026年，Agent评测基准从单一任务型向综合型演进，覆盖了代码生成、网页操作、多轮对话、工具调用等多个维度。本文深度解析主流评测基准的设计理念和适用场景。 主流评测基准对比 GAIA（General Assistant Benchmark） 定位： 通用AI助手能力评测 设计特点： 真实场景任务：文件处理、邮件回复、数据分析 多模态输入：文本、表格、PDF 开放域：不限定特定领域 评测维度： 工具使用能力 信息整合能力 复杂任务分解 局限性： 评分标准主观性强 任务难度分布不均 SWE-bench（Software Engineering Benchmark） 定位： 代码问题修复能力评测 设计特点： 真实GitHub Issue 需要理解代码库并生成修复 自动验证（测试通过即成功） 评测维度： 代码理解 Bug定位 修复生成 测试验证 优势： 客观可验证 贴近真实开发场景 局限性： 仅覆盖代码场景 对大型代码库支持有限 AgentBench 定位： Agent工具使用能力评测 设计特点： 模拟操作系统环境 提供API和命令行工具 多步任务完成度 评测维度： 工具选择 参数生成 错误恢复 任务规划 WebArena 定位： 网页操作能力评测 设计特点： 模拟真实网站（电商、地图、邮件等） 需要GUI理解和操作 多步骤网页任务 评测维度： 网页理解 元素定位 操作序列规划 状态跟踪 评测方法论 评分体系 Agent能力 = f(任务完成度, 效率, 资源消耗, 安全性) 权重分配： ...