CursorBench 4.0 这类编程智能体基准,很多人看排名就下结论。排名只能说明「在基准上强」,不等于「在你的代码库上强」。

评估方法比排名重要。

这个基准考的是什么?

三个维度。第一,任务完成:能不能把需求实现出来。第二,代码质量:改得对不对、有没有引入问题。第三,多步能力:能不能连续完成多轮修改。

第三个最贴近真实开发。真实需求从来不是一次改完。

为什么排名不能直接用?

三个原因。第一,基准任务是抽样的:不覆盖你的技术栈。第二,评分标准固定:不反映你的验收口径。第三,环境简化:没有你项目里的历史包袱。

第三个最致命。真实仓库有一堆历史遗留。

该怎么在自己的代码库上评估?

四步。第一,选十个真实任务:从 issue 里挑。第二,固定环境:同一个分支、同一套依赖。第三,跑完记录:成功、失败、耗时。第四,人工评审:改得对不对。

第二步最关键。环境不一致,结果没有可比性。

任务该怎么选?

三个原则。第一,覆盖不同类型:新增功能、修 bug、重构。第二,难度分层:简单、中等、复杂各三条。第三,有明确验收:能判断做没做对。

第三个最必要。验收不清,评估就是感觉。

该记录哪些指标?

五项。第一,一次通过率。第二,平均耗时。第三,人工修改量:改几行才能用。第四,引入问题数。第五,token 成本。

第三项最实际。改得越少,越省时间。

怎么避免评估失真?

三个动作。第一,同一任务多模型跑:横向比。第二,盲评:评审不知道是哪个模型写的。第三,多轮重复:同一任务跑三次。

第二个最有效。知道来源,评审会有偏见。

常见的评估错误有哪些?

四个。第一,只用基准排名。第二,任务太简单:都是玩具例子。第三,只看成功率,不看修改量。第四,只跑一次。

第三个最普遍。成功率一样,但一个要改三十行,一个改三行。

该怎么把评估变成决策?

三步。第一,算时间账:模型省的时间和人工改的时间。第二,算成本账:token 花费。第三,算风险账:引入问题的修复成本。

第一项最关键。省的时间不够改的,就不划算。

评估结果该怎么用?

三个用途。第一,选主力模型。第二,定使用边界:哪些任务交给它。第三,定复核规则:哪些改动必须人审。

第三个最必要。再强的模型,也要有人把关。

最后该记住什么?

编程智能体的评估,答案在「你自己的仓库」,不在「别人的榜单」。

自己的十个任务,比任何排名都准。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论