榜单分数是选型时最容易被拿来做决策的依据,也是最容易误导的依据。理解它的局限,比记住谁排第一更重要。

榜单常见的四个陷阱是什么?

第一个是数据污染。公开测试集容易被进入训练数据,分数高但泛化差。越是古老的基准,污染越严重。

第二个是任务偏窄。多数基准考的是单轮问答或短代码,与你实际的长流程任务差别很大。

第三个是评分方式。用模型给模型打分,会系统性偏好长回答和自信语气,而不是正确性。

第四个是选择性报告。厂商会挑对自己有利的分项公布,平均分好看,你关心的那一项可能很差。

怎么读一份评测才不被骗?

先看样本量和置信区间,再看分项而不是总分,最后看失败案例。一份没有失败案例的评测,基本不可信。

如果可能,找第三方复现。复现不了的高分,只能当参考。还要注意测试时间,模型会更新,半年前的排名已经失效。

另一个细节是提示词。评测用的提示词如果特别优化过,分数会高于你随手写的提示。真实场景里,提示词质量往往比模型差一档,这个落差要自己补。

自建评测该怎么做?

从真实工单里抽五十条,标注标准答案和可接受范围。让两三个模型跑同样的提示词,人工盲评。每季度重跑一次,观察趋势。

关键是盲评:不要让评分者知道哪条是哪个模型出的,否则预期会影响判断。样本要覆盖简单、中等、困难三档,只测困难的会低估日常可用性。

那评测到底该怎么用?

评测是筛子,不是判决书。它能帮你排除明显不行的,但不能替你决定谁最适合。真正决定用的是你的任务集和成本模型。

把这个态度固定下来,你就不会因为某个榜单更新而频繁换工具,团队的返工也会少很多。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论