MMLU

前言 2026 年，大语言模型竞争进入白热化阶段。GPT-5.5、Claude 4 Sonnet/Gopus、Gemini 2.5 Ultra、DeepSeek V4 相继发布，各家在标准基准测试上的分数你追我赶。然而，基准分数 ≠ 实际体验，本文将从多维度对四款模型进行横评，帮助开发者与企业在真实业务场景中做出更明智的选择。 一、基准测试概览 我们选取了业界最权威的几项基准测试： 基准 领域 说明 MMLU 多学科知识 57 个学科，15,908 道选择题 GPQA 专家级推理 生物、化学、物理研究生水平 HumanEval 代码生成 164 道 Python 编程题 MATH 数学推理 12,500 道竞赛级数学题 MGSM 多语言数学 10 个语言下的数学推理 IFEval 指令遵循 25 种指令维度的精确遵循 Arena-Hard 开放式对齐 真实用户偏好排序 注：以下分数综合自各模型官方发布页、LM Arena 及第三方评测，部分为估算区间。 二、核心基准分数对比 2.1 通用知识与推理（MMLU / GPQA） 模型 MMLU (%) GPQA (%) GPQA-Diamond (%) GPT-5.5 96.8 87.4 82.1 Claude 4 Opus 95.6 84.2 78.6 Gemini 2.5 Ultra 94.9 82.7 75.4 DeepSeek V4 93.1 79.3 71.2 分析： ...

引言 2026 年，大语言模型的能力已逼近甚至超越人类专家水平，但「如何衡量模型到底有多强」这个问题反而变得越来越棘手。MMLU 接近饱和、GPQA 区分度下降、SWE-Bench 被质疑数据泄漏——Benchmark 信任危机正在加剧。本文系统盘点主流 Benchmark 的现状、问题与新方向。 一、主流 Benchmark 盘点 1.1 MMLU / MMLU-Pro MMLU（Massive Multitask Language Understanding）涵盖 57 个学科的多选题，曾是衡量模型知识广度的金标准。2026 年现状： 模型 MMLU 得分 MMLU-Pro 得分 GPT-4o (2024) 88.7% 74.7% Claude 3.5 Sonnet 88.3% 78.0% GPT-5 (2026) 92.1% 85.3% Gemini 2.5 Ultra 91.8% 84.9% DeepSeek V3.5 90.4% 82.1% 问题： 头部模型在 MMLU 上已超过 90%，区分度严重不足。MMLU-Pro 将选项扩展到 10 个并引入更复杂的推理题，但头部模型仍在快速趋近饱和。 数据污染： 研究表明，MMLU 的部分题目出现在 Common Crawl 等公开语料中，模型可能通过记忆而非理解作答。MMLU-Pro 虽然缓解了部分问题，但仍有约 12% 的题目可在公开数据中找到高相似度匹配。 1.2 GPQA（Google-Proof Q&A） GPQA 由博士级专家出题，设计初衷是「无法通过 Google 搜索直接回答」。分为 GPQA-Main、GPQA-Extended 和 GPQA-Diamond 三个子集。 ...