SWE-Bench

在一众编码智能体里，OpenHands（前身 OpenDevin，All Hands AI 出品）是绕不开的开源坐标：第三方架构综述给它标了约 7 万星，SWE-bench Verified 上报告 77.6% 的解决率，还自带一套被学术界广泛当作实验基线的 SDK。2026 年它不仅是「一个能改代码的 Agent」，更成了开源编码智能体的参考架构。值得从代码结构而不是榜单数字读一遍。 四层模块化 SDK 按其 SDK 论文（arXiv 2511.03690），工程被拆成四个包： openhands.sdk：核心抽象——Agent、Conversation、LLM、Tool、MCP，以及事件系统。 openhands.tools：具体工具实现，如 str_replace_editor 编辑文件、execute_bash 执行命令。 openhands.workspace：执行环境，默认 Docker 沙箱，可换成托管 API。 openhands.agent_server：暴露 REST/WebSocket 的 Web 服务。 这种分层的好处是：换模型、换工具、换沙箱，都不用动主循环。学术界做新方法实验时，正是靠这种可插拔性快速复现。 为什么沙箱是一等公民 OpenHands 的所有文件编辑与命令执行都在 Docker 容器里跑，这不是洁癖，是编码智能体的安全底线——Agent 要执行 shell，就必须默认它会执行危险命令。Docker 沙箱 + 可回放的事件流，让每一步「想了什么、改了什么、跑了什么」都能记录复盘。 模型侧的配合 OpenHands 还开源了 OpenHands LM 32B：在 SWE-bench Verified 上 37.2%，与 20 倍体量的 DeepSeek V3 0324（671B，38.8%）接近。这说明编码智能体的能力，框架脚手架的贡献不亚于模型本身——换个小模型，配好工具与循环，就能追到一线大厂模型的尾巴。 判断 想自建编码智能体，OpenHands 是最好的起点：它把事件循环、工具抽象、沙箱这些脏活做完了，你专注在自己的仓库上下文与评测上即可。 落地时建议先从一个真实仓库的小任务集跑起，而不是直接接生产代码库。先观察它在你自己的代码风格与构建命令下，编辑文件与跑测试的成功率有多高，再决定要不要扩大权限。开源框架给的是脚手架，仓库特定的知识仍要靠你自己喂。 和闭源编码助手相比，OpenHands 最大的优势是可控与可复现：你可以审计每一步工具调用、替换任意模型后端、把整套流程沉淀成自己的 CI 流水线。代价是要自己维护环境与评测。适合有工程团队、想把编码智能体深度定制进研发流程的组织。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：OpenHands 架构 ...

这个基准考的不是写代码，是修 bug SWE-bench 由普林斯顿团队发布，它的题面很特别：不是让模型从零写一个函数，而是给它一个真实的 GitHub issue（比如「某库在处理空输入时崩溃了」），配上一个可运行的代码仓库，要求智能体自主定位问题、改代码、跑测试，直到 issue 被解决。评判标准很硬核：测试用例通过才算 resolved，不靠人主观打分。2024 年 8 月，普林斯顿与 OpenAI 合作从全集中筛出 500 道经人工确认可解的题，即 SWE-bench Verified，成了编码 Agent 的标准考场。 分数的狂飙曲线 这个基准的进步速度堪称夸张。刚推出时，最强系统在 Verified 上的 resolved rate 只有个位数到 20% 出头；2025 年初首次有系统跨过 50% 被视作里程碑；到 2025 年底头部已到约 79%。进入 2026 年，分数进一步飙升——公开榜单上前沿模型（如 Claude Opus 5、GPT-5.6 这类）在 Verified 上的 resolved rate 已报到 96% 到 97% 区间，逼近「人类工程师在同样时间预算下约 90%」的参照线。OpenAI 在 2026 年的一份分析里也指出，八个月间公开拆分上前沿模型从 23.3% 提升到了 80.3%。 为什么涨得这么快 分数暴涨有两重原因。一是模型本身在变强，尤其代码与工具调用能力。二是 Agent 框架的贡献巨大：真正的高分不是裸模型刷出来的，而是「模型加脚手架」——智能体能跑命令、读报错、改文件、反复试错。这也是为什么 SWE-bench 测的是端到端系统而非纯模型：给模型配一个能自主跑测试、看日志的循环，分数能涨一大截。 它暴露的问题 但 97% 这个数字要冷静看。一方面，题目分布偏 Python 生态、偏已知 issue，换个语言或更暧昧的需求，分数立刻掉。另一方面，高分也意味着基准正在被「刷饱和」——题解套路被模型学透，区分度下降。这也是为什么社区不断推新拆分、新难度。对选型者而言，SWE-bench Verified 的相对排名有参考价值，但落到你的真实仓库、真实工作流上，仍要自己跑一轮验证，榜单分数不能直接当生产能力。 ...

引言 评测是衡量Agent能力的唯一客观标准。2026年，Agent评测基准从单一任务型向综合型演进，覆盖了代码生成、网页操作、多轮对话、工具调用等多个维度。本文深度解析主流评测基准的设计理念和适用场景。 主流评测基准对比 GAIA（General Assistant Benchmark） 定位： 通用AI助手能力评测 设计特点： 真实场景任务：文件处理、邮件回复、数据分析 多模态输入：文本、表格、PDF 开放域：不限定特定领域 评测维度： 工具使用能力 信息整合能力 复杂任务分解 局限性： 评分标准主观性强 任务难度分布不均 SWE-bench（Software Engineering Benchmark） 定位： 代码问题修复能力评测 设计特点： 真实GitHub Issue 需要理解代码库并生成修复 自动验证（测试通过即成功） 评测维度： 代码理解 Bug定位 修复生成 测试验证 优势： 客观可验证 贴近真实开发场景 局限性： 仅覆盖代码场景 对大型代码库支持有限 AgentBench 定位： Agent工具使用能力评测 设计特点： 模拟操作系统环境 提供API和命令行工具 多步任务完成度 评测维度： 工具选择 参数生成 错误恢复 任务规划 WebArena 定位： 网页操作能力评测 设计特点： 模拟真实网站（电商、地图、邮件等） 需要GUI理解和操作 多步骤网页任务 评测维度： 网页理解 元素定位 操作序列规划 状态跟踪 评测方法论 评分体系 Agent能力 = f(任务完成度, 效率, 资源消耗, 安全性) 权重分配： ...

引言 2026年，代码大模型的评测标准发生了根本性变化。传统的HumanEval等基准已无法区分顶级模型，SWE-Bench Pro成为新的黄金标准。SWE-Bench Pro包含500+真实企业级软件工程任务，要求模型理解大型代码库、修复复杂bug、实现跨文件功能。本文将以SWE-Bench Pro为核心，全面对比2026年主流代码大模型。 基准体系 SWE-Bench Pro详解 SWE-Bench Pro的评测维度： 维度 占比 说明 Bug修复 30% 真实GitHub issue修复 功能实现 25% 根据需求实现新功能 重构 15% 代码重构和优化 测试编写 10% 单元测试和集成测试 文档更新 10% API文档和注释 依赖管理 10% 版本升级和兼容性 涉及的语言分布：Python(35%)、JavaScript/TypeScript(25%)、Java(15%)、Go(10%)、Rust(8%)、C++(7%)。 其他代码基准 基准 测试内容 难度 区分度 SWE-Bench Pro 真实工程任务 极高 高 HumanEval+ 函数级代码生成 中 低 MBPP+ 基础编程 低 低 MultiPL-E 多语言生成 中 中 LiveCodeBench 竞赛编程 高 中 CodeXGLUE 代码理解 中 中 2026年代码模型排行榜 闭源模型排行 排名 模型 SWE-Bench Pro HumanEval+ LiveCodeBench 综合分 1 Claude Opus 4.1 47.6% 94.3% 78.5% 73.5 2 GPT-5.5 44.2% 95.1% 82.3% 73.9 3 Gemini 3.5 Pro 32.1% 92.8% 71.2% 65.4 4 DeepSeek V4 38.5% 91.5% 68.8% 66.3 5 Qwen3.5 Max 35.8% 89.5% 65.3% 63.5 6 GLM-5-Plus 36.2% 90.5% 62.5% 63.1 7 Mistral Large 3 28.5% 83.1% 55.2% 55.6 关键发现：GPT-5.5在综合分上略高于Claude Opus 4.1，但在SWE-Bench Pro上落后3.4个百分点。这说明GPT-5.5在算法和竞赛编程上更强，而Claude在真实工程任务上更胜一筹。 ...

2026 年，代码大模型的评测进入 SWE-Bench Pro 时代。相比旧版 SWE-Bench，Pro 版本引入了多文件重构、跨仓库依赖、实时调试反馈三个新维度，全面考察模型的软件工程能力而非简单的代码生成。本文将基于 SWE-Bench Pro 及多项代码基准，给出 2026 年最权威的代码模型排行。 一、评测体系说明 SWE-Bench Pro SWE-Bench Pro 包含 500 个真实 GitHub Issue，覆盖 Python、JavaScript/TypeScript、Java、Go、Rust 五种语言。每个 Issue 要求模型： 理解 Issue 描述与相关代码上下文 定位需要修改的文件（平均 3.7 个文件） 生成修复 Patch 通过现有测试 + 新增测试验证 其他基准 基准 测试内容 题量 LiveCodeBench 2026 竞赛编程 312 HumanEval+ 函数级代码生成 164 ClassEval 面向对象代码生成 100 CodeComplex 复杂算法实现 80 二、2026 代码模型排行榜 排名 模型 SWE-Bench Pro LiveCodeBench HumanEval+ ClassEval CodeComplex 1 Claude Opus 4.1 52.3% 84.5% 97.2% 89.3% 82.1% 2 GPT-5.5 47.8% 81.2% 96.1% 86.7% 80.5% 3 Gemini 4.0 41.5% 78.3% 93.8% 83.5% 77.2% 4 DeepSeek V4-Coder 38.5% 76.8% 94.1% 82.1% 76.8% 5 Qwen3.5-Coder-72B 35.2% 74.5% 93.8% 80.3% 74.5% 6 Llama 4 Maverick 32.8% 71.2% 92.3% 78.5% 72.1% 7 GLM-5-Coder 30.1% 68.7% 91.5% 76.8% 70.3% 8 Mistral Codestral 2 28.5% 67.3% 90.8% 75.2% 68.7% 9 CodeLlama 4-70B 22.1% 62.5% 88.1% 71.3% 65.2% 10 DeepSeek-R2-Distill-32B 20.8% 65.3% 89.2% 72.5% 66.8% 三、SWE-Bench Pro 分项分析 按编程语言 语言 Claude Opus 4.1 GPT-5.5 Gemini 4.0 DeepSeek V4-Coder Python 58.7% 53.2% 46.8% 43.5% JavaScript/TS 51.2% 47.5% 42.3% 38.7% Java 49.8% 44.3% 39.5% 36.2% Go 47.3% 42.1% 37.8% 34.5% Rust 43.5% 38.7% 33.2% 30.1% Claude Opus 4.1 在所有语言上均领先，Python 优势最大。Rust 是所有模型的短板——内存安全相关的 Bug 修复需要深度的类型系统理解。 ...

引言 代码生成是 LLM 最成功的落地场景之一，但「能写代码」和「能解决工程问题」之间有巨大鸿沟。HumanEval 上的 90% 通过率并不意味着模型能胜任真实的软件工程工作。本文系统梳理 2026 年代码 LLM 评估从基础到工程级的完整体系。 一、基础代码生成评估 1.1 HumanEval HumanEval 由 OpenAI 在 2021 年发布，是代码 LLM 评估的元老级 Benchmark。包含 164 个 Python 编程任务，每个任务包含函数签名、docstring 和测试用例。 评估方式： 给定函数签名和 docstring，模型生成函数体，用测试用例验证正确性。 Pass@k 指标： Pass@k = 1 - C(n-c, k) / C(n, k) 其中 n 是总采样数，c 是通过测试的采样数，k 是允许的尝试次数。 2026 年头部模型 Pass@1： 模型 HumanEval Pass@1 GPT-5 96.2% Claude 4 Opus 95.8% Gemini 2.5 Ultra 94.1% DeepSeek-Coder V2.5 93.5% Llama 3.3 70B 88.7% 问题： HumanEval 已严重饱和，头部模型差距不到 8 个百分点，基本失去区分度。 ...