Devin AI 评测：第一个 AI 软件工程师的真相
Devin：从「震撼世界」到「面对现实」 2024 年 3 月，Cognition Labs 发布 Devin AI，宣称其为「第一个 AI 软件工程师」。演示视频展示了 Devin 自主完成 Upwork 上的真实开发任务，引发行业轰动。两年过去，让我们冷静审视 Devin 的真实能力。 能力宣称 vs 现实 官方宣称 Cognition 在发布时声称： Devin 能独立完成完整的软件开发任务 在 SWE-bench 上达到 13.86% 的解决率（当时最高） 能浏览网页、编写代码、运行命令、调试错误 能完成 Upwork 上的真实外包任务 实际表现 经过广泛测试和社区反馈，Devin 的实际能力可总结为： 宣称能力 实际表现 差距 独立完成开发任务 部分完成，需人类介入 中等 SWE-bench 13.86% 后续独立复现约 7-10% 显著 浏览网页+编写代码 能做，但速度慢、错误多 中等 完成 Upwork 任务 能完成极简单任务 大 需要说明：SWE-bench 的 13.86% 是 Cognition 自己的测试结果，且使用了特定的辅助条件。MIT 和 Princeton 研究者的独立复现显示，在严格条件下 Devin 的解决率约为 7-10%。这不是造假，但说明评测条件对结果影响很大。 沙箱环境详解 Devin 运行在一个专属的沙箱环境中，包含： ...