Cognition

从"AI 辅助编程"到"AI 工程师" GitHub Copilot 让开发者习惯了"AI 写代码、人来审查"的工作模式。但 Copilot 解决的是"怎么写"的问题，不是"做什么"和"怎么做"的问题。你仍然需要自己理解需求、设计方案、搭建项目结构、编写测试、调试部署。Copilot 就像一个打字很快但不太会思考的实习生——你告诉他写什么，他写得很快，但你得时刻盯着。 Devin 的定位完全不同。它要做的是"AI 工程师"——你给它一个 issue 或需求描述，它自己理解需求、规划方案、编写代码、运行测试、修复 bug、提交 PR。整个过程自主完成，人类只需要在关键节点做审查和决策。这个定位很大胆，也很有争议——它意味着 AI 不再是开发者的工具，而是开发者的同事。 Cognition AI 在 2024 年初首次展示 Devin 时，业界反应两极分化。支持者认为这是软件工程的未来，批评者认为演示视频有夸大之嫌。两年过去了，Devin 已经迭代到 2.0 版本，生产环境中的表现比演示时期更加成熟。我花了三周时间在实际项目中深度使用 Devin 2.0，以下是详细评测。 测试方法论 为了全面评估 Devin 的能力，我设计了三个层次的测试任务： Level 1 - 独立小任务（10 个）：修复单个 bug、添加小功能、编写单元测试。每个任务预期 1-2 小时人工工作量。 Level 2 - 模块级任务（5 个）：实现一个完整功能模块，包含 API 设计、数据库迁移、业务逻辑、测试编写。每个任务预期 1-3 天人工工作量。 Level 3 - 项目级任务（2 个）：从零搭建一个完整项目，包含技术选型、架构设计、核心功能实现、部署配置。每个任务预期 1-2 周人工工作量。 测试项目涵盖 Python（FastAPI）、TypeScript（Next.js）、Go（Gin）三种技术栈。 Level 1：独立小任务表现 Bug 修复（4 个任务） Devin 在 bug 修复上表现最强。给它一个 issue 描述和代码仓库访问权限后，它的典型工作流程是： ...

Devin：从「震撼世界」到「面对现实」 2024 年 3 月，Cognition Labs 发布 Devin AI，宣称其为「第一个 AI 软件工程师」。演示视频展示了 Devin 自主完成 Upwork 上的真实开发任务，引发行业轰动。两年过去，让我们冷静审视 Devin 的真实能力。 能力宣称 vs 现实 官方宣称 Cognition 在发布时声称： Devin 能独立完成完整的软件开发任务 在 SWE-bench 上达到 13.86% 的解决率（当时最高） 能浏览网页、编写代码、运行命令、调试错误 能完成 Upwork 上的真实外包任务 实际表现 经过广泛测试和社区反馈，Devin 的实际能力可总结为： 宣称能力 实际表现 差距 独立完成开发任务 部分完成，需人类介入 中等 SWE-bench 13.86% 后续独立复现约 7-10% 显著 浏览网页+编写代码 能做，但速度慢、错误多 中等 完成 Upwork 任务 能完成极简单任务 大 需要说明：SWE-bench 的 13.86% 是 Cognition 自己的测试结果，且使用了特定的辅助条件。MIT 和 Princeton 研究者的独立复现显示，在严格条件下 Devin 的解决率约为 7-10%。这不是造假，但说明评测条件对结果影响很大。 沙箱环境详解 Devin 运行在一个专属的沙箱环境中，包含： ...