编码智能体的能力评估,靠感觉判断很容易高估。用标准化的测试集能给出可比的结果,但要注意几个前提。

为什么需要标准化评估?

三个原因。

第一,场景差异大。同一个模型在不同任务上表现可能差很远,凭几个例子判断不可靠。

第二,主观偏差。人容易记住成功的案例,忘记失败的。

第三,无法横向比较。不同模型各自演示,没有共同基准。

标准化测试集提供共同基准,让比较有依据。

这类测试集通常测什么?

四类任务。

第一类,单文件修复。给定一个文件和错误描述,要求修好。

第二类,多文件改动。需要理解项目结构,跨文件修改。

第三类,从零实现。给定需求,生成可运行的代码。

第四类,调试与优化。给定有问题的代码,要求定位并改进。

四类难度递增,覆盖不同能力维度。

评估要看哪些指标?

五个。

第一,通过率。任务完成且测试通过的比例。

第二,一次通过率。不需要多轮修正就通过的比例。这个指标反映真实可用度。

第三,平均轮次。完成任务平均需要几轮交互。

第四,回归率。改动后引入新问题的比例。这个指标最容易被忽略,但最重要。

第五,耗时。完成任务的实际时间。

只看通过率会误判。一个模型通过率高但回归率高,实际不可用。

怎么用测试结果?

三条。

第一,横向比较。同一测试集上不同模型的分数可以直接对比。

第二,纵向跟踪。同一模型不同版本的分变化,看是否在进步。

第三,场景匹配。看测试集里的任务类型是否和你的实际场景接近。不接近,分数参考价值有限。

评估有哪些局限?

四个。

第一,测试集的任务分布和真实项目不同。真实项目更杂乱、需求更模糊。

第二,测试环境简化。真实项目有依赖、有历史包袱。

第三,评分标准机械。通过测试不等于代码质量好。

第四,数据污染风险。测试集公开后,模型可能见过。

四个局限决定了:测试分数是参考,不是结论。

怎么结合实践评估?

三层验证。

第一层,标准测试集给基线分。

第二层,用自己的真实任务做一个私有测试集,十到二十个任务,覆盖高频场景。

第三层,实际项目试用,看长期表现。

三层结合,判断才准。

怎么建私有测试集?

第一步,从历史项目里挑典型任务。

第二步,每个任务写清输入、期望输出、判定标准。

第三步,固定下来,每次都跑同一套。

第四步,定期补充新类型任务。

私有测试集的价值在于贴合实际场景。公开测试集告诉你模型的上限,私有测试集告诉你它在你这里能不能用。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论