编码智能体的能力评估,靠感觉判断很容易高估。用标准化的测试集能给出可比的结果,但要注意几个前提。
为什么需要标准化评估?
三个原因。
第一,场景差异大。同一个模型在不同任务上表现可能差很远,凭几个例子判断不可靠。
第二,主观偏差。人容易记住成功的案例,忘记失败的。
第三,无法横向比较。不同模型各自演示,没有共同基准。
标准化测试集提供共同基准,让比较有依据。
这类测试集通常测什么?
四类任务。
第一类,单文件修复。给定一个文件和错误描述,要求修好。
第二类,多文件改动。需要理解项目结构,跨文件修改。
第三类,从零实现。给定需求,生成可运行的代码。
第四类,调试与优化。给定有问题的代码,要求定位并改进。
四类难度递增,覆盖不同能力维度。
评估要看哪些指标?
五个。
第一,通过率。任务完成且测试通过的比例。
第二,一次通过率。不需要多轮修正就通过的比例。这个指标反映真实可用度。
第三,平均轮次。完成任务平均需要几轮交互。
第四,回归率。改动后引入新问题的比例。这个指标最容易被忽略,但最重要。
第五,耗时。完成任务的实际时间。
只看通过率会误判。一个模型通过率高但回归率高,实际不可用。
怎么用测试结果?
三条。
第一,横向比较。同一测试集上不同模型的分数可以直接对比。
第二,纵向跟踪。同一模型不同版本的分变化,看是否在进步。
第三,场景匹配。看测试集里的任务类型是否和你的实际场景接近。不接近,分数参考价值有限。
评估有哪些局限?
四个。
第一,测试集的任务分布和真实项目不同。真实项目更杂乱、需求更模糊。
第二,测试环境简化。真实项目有依赖、有历史包袱。
第三,评分标准机械。通过测试不等于代码质量好。
第四,数据污染风险。测试集公开后,模型可能见过。
四个局限决定了:测试分数是参考,不是结论。
怎么结合实践评估?
三层验证。
第一层,标准测试集给基线分。
第二层,用自己的真实任务做一个私有测试集,十到二十个任务,覆盖高频场景。
第三层,实际项目试用,看长期表现。
三层结合,判断才准。
怎么建私有测试集?
第一步,从历史项目里挑典型任务。
第二步,每个任务写清输入、期望输出、判定标准。
第三步,固定下来,每次都跑同一套。
第四步,定期补充新类型任务。
私有测试集的价值在于贴合实际场景。公开测试集告诉你模型的上限,私有测试集告诉你它在你这里能不能用。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论