知识评测

MMLU 测的是什么 MMLU（Massive Multitask Language Understanding）由 Hendrycks 等人于 2021 年提出，初衷是测大模型的「通识」水平。它横跨 57 个学科，从初等数学、历史、法律伦理到大学水平的物理、医学、哲学，题目主要是四选一的多选题。出题人刻意选了「人类专家才会做对」的难题，想看看模型在没有专门训练的情况下，到底掌握了多少知识。刚发布时，最强模型在 MMLU 上也只有 40% 上下，而人类专家能到 90% 以上，差距非常明显。 高分与饱和：基准的中年危机 问题随之而来。随着模型越训越大，MMLU 分数被一路推高——2023 年 GPT-4 报到约 86%，到 2025、2026 年前沿模型的分数已普遍触及 90% 甚至更高。分数越挤越接近天花板，模型之间的区分度越来越小，「86 与 88 谁更强」变得难以分辨。这就是基准饱和：题目太简单、套路被训练数据见过，模型不再是「真会」，而是「背过题型」。更尴尬的是，研究发现 MMLU 的不少题目可能出现在训练语料里，高分有「露题」嫌疑。 MMLU-Pro：把题重新加难 为应对饱和，2024 年推出的 MMLU-Pro 做了几件事：把选项从 4 个扩到 10 个，增加干扰项让「蒙」的难度陡增；题目更偏需要推理的高阶问题，而不是直接记忆；重新筛选避免露题。结果一出来，前沿模型在 MMLU-Pro 上的分数普遍比原版 MMLU 低一大截，区分度重新拉开——那些在旧基准上挤作一团的模型，在 Pro 版上分出了高下。这说明旧基准测的更多是「记忆」，而 Pro 版逼出了更多「推理」。 这类基准的根本局限 但要清醒：多选题再难，测的也只是「闭卷选择题能力」，和真实世界的知识运用差得远。模型能在十选一的法律题上拿高分，不代表它能写一份靠谱的合同；能做对物理题，不代表它能设计一个实验。知识基准的价值在于快速横向比较、监测模型进步速度，而不是预测它在你的业务里好不好用。这也是为什么 2026 年的评测趋势从「静态选择题」转向「动态任务型基准」——像 SWE-bench 那样真刀真枪干活。 收束 MMLU 的故事是所有知识基准的缩影：设计时是难题，普及后成了背题集。MMLU-Pro 提醒我们，评测必须跟着模型能力一起进化，否则分数就失去了信号。对从业者，理性的态度是把 MMLU 类分数当作「体检指标」而非「录用依据」——它告诉你模型大概在什么段位，但真正能不能干活，还得在你的真实任务上测。 去论坛讨论 关于「MMLU」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。