每隔几个月，就有新模型在某个经典基准上刷出接近满分的成绩，然后这个基准就被宣告「已饱和、已死亡」。新基准刚出来时光鲜亮丽，一两年后又被刷爆。这场评估危机的本质，是古德哈特定律——当一个度量变成目标，它就不再是好的度量。模型公司为了排行榜而优化，排行榜就失去了预测真实能力的价值。

基准为什么会被迅速刷爆？

经典基准的数据集是公开的。模型公司可以把这些题目及其变体直接混进训练集，于是「考高分」不再代表「会做这类题」，只代表「见过这类题」。多轮之后，基准分数与真实泛化能力脱钩。更糟的是，模型会学会基准题目的表面模式——特定出题套路、特定答案长度——而不是背后的能力。这种过拟合在排行榜上看不出来，一到真实业务场景就露馅。

动态对抗式评估能解决问题吗？

为了对抗过拟合，评估社区转向了动态生成题目、私有测试集、实时人机对比。但这些方法成本高昂，而且只要测试流程被逆向，模型公司又能针对性优化。更根本的做法是把评估从「做对题目」转向「完成开放任务」——让模型在模拟真实工作流的环境里端到端地解决问题，再由自动化裁判加人工抽检打分。这种评估贵，但更接近真实。

真实世界表现为什么仍然无法被分数概括？

一个模型在数学竞赛上拿金牌，不代表它能在真实工程团队里写好代码；在写作比赛上获奖，不代表它能帮你写一封得体的商务邮件。能力是多维的，任何单一分数都会漏掉关键维度。于是企业采购大模型时，越来越多不再看公开排行榜，而是用自己业务数据做私有评测集。我们在 选型实践 里反复强调，公开榜单只能作为初筛，不能作为决策依据。

评估危机的深层含义是：我们还没有找到一个既能标准化、又不会被博弈掉的能力度量。在找到之前，任何「某模型得分 X」的新闻，都应该先打一个问号。

私有评测集能成为最终答案吗？

越来越多企业用自己业务数据搭建私有评测集，模型在公开榜单上的分数只做初筛。这条路方向正确，但也有代价：私有评测集成本高、迭代慢、不同公司之间无法横向对比。更难的是，私有评测集本身也会被过拟合——如果模型公司能拿到你的测试样本，它照样能针对性优化。真正的解药可能是持续的、动态的、由真实用户反馈驱动的在线评测，而不是任何一次性的基准。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。