GPQA

DeepSeek 更新日志给出的两个参考分放在一起读很有意思：GPQA Diamond 90.9，HLE 36.8。前者已经接近理科博士水平，后者却连四成都不到。这 54 分的落差，正是当前前沿模型能力边界最诚实的写照。 GPQA 与 HLE 这两个基准到底在考什么？ GPQA Diamond 是研究生级别的科学多选题，题目相对封闭、答案唯一，靠知识检索与逻辑推演就能拿下。HLE（Humanity’s Last Exam）则刻意收集那些即便专家也要查资料、有争议、信息高度不对称的难题，目的就是让模型「考不过」。90.9 与 36.8 的对比说明：在结构清晰的知识型任务上，模型已经很强；但在需要跨领域综合判断、容忍不确定性的开放难题上，它仍有巨大鸿沟。 90.9 与 36.8 的落差为什么重要？ 很多宣传只挑高分基准说事儿。只看 GPQA，会觉得 AGI 近在咫尺；加上 HLE，才发现模型在「不知道自己不知道」的地方依然脆弱。对企业采购，这意味着：把模型用在有标准答案的环节，可靠性可观；把它用在需要权衡的高风险决策上，仍需人类兜底。 面对榜单，正确的读法是什么？ 别只看单一最高分，把知识型基准与开放难题基准对照着看。前沿模型的真实水位，约等于两者之间的位置，而不是那个漂亮的 90.9。 这个落差怎么用在模型采购决策里？ 给企业做模型选型时，建议建立两张表：一张知识型基准（GPQA、MMLU 类），一张开放难题型基准（HLE 类）。把候选模型放上去对照，而不是只看厂商宣传的最高分。如果一个模型知识分很高、开放分很低，它适合做客服、摘要这类有标准答案的活；两张表都过得去，才敢让它碰需要权衡的决策。对普通用户，记住一个朴素原则：模型说得越自信，越要想想它是不是在一个「其实不确定」的问题上硬给了答案。36.8 这个分数，就是这份谦逊的量化依据。 说到底，榜单是用来照出边界的，不是用来制造幻觉的。把 90.9 与 36.8 并排贴在墙上，团队才不会在乐观与悲观之间反复横跳，而是老老实实知道自己站在哪、离下一道坎还有多远。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：HLE基准

前言 2026 年，大语言模型竞争进入白热化阶段。GPT-5.5、Claude 4 Sonnet/Gopus、Gemini 2.5 Ultra、DeepSeek V4 相继发布，各家在标准基准测试上的分数你追我赶。然而，基准分数 ≠ 实际体验，本文将从多维度对四款模型进行横评，帮助开发者与企业在真实业务场景中做出更明智的选择。 一、基准测试概览 我们选取了业界最权威的几项基准测试： 基准 领域 说明 MMLU 多学科知识 57 个学科，15,908 道选择题 GPQA 专家级推理 生物、化学、物理研究生水平 HumanEval 代码生成 164 道 Python 编程题 MATH 数学推理 12,500 道竞赛级数学题 MGSM 多语言数学 10 个语言下的数学推理 IFEval 指令遵循 25 种指令维度的精确遵循 Arena-Hard 开放式对齐 真实用户偏好排序 注：以下分数综合自各模型官方发布页、LM Arena 及第三方评测，部分为估算区间。 二、核心基准分数对比 2.1 通用知识与推理（MMLU / GPQA） 模型 MMLU (%) GPQA (%) GPQA-Diamond (%) GPT-5.5 96.8 87.4 82.1 Claude 4 Opus 95.6 84.2 78.6 Gemini 2.5 Ultra 94.9 82.7 75.4 DeepSeek V4 93.1 79.3 71.2 分析： ...

引言 2026 年，大语言模型的能力已逼近甚至超越人类专家水平，但「如何衡量模型到底有多强」这个问题反而变得越来越棘手。MMLU 接近饱和、GPQA 区分度下降、SWE-Bench 被质疑数据泄漏——Benchmark 信任危机正在加剧。本文系统盘点主流 Benchmark 的现状、问题与新方向。 一、主流 Benchmark 盘点 1.1 MMLU / MMLU-Pro MMLU（Massive Multitask Language Understanding）涵盖 57 个学科的多选题，曾是衡量模型知识广度的金标准。2026 年现状： 模型 MMLU 得分 MMLU-Pro 得分 GPT-4o (2024) 88.7% 74.7% Claude 3.5 Sonnet 88.3% 78.0% GPT-5 (2026) 92.1% 85.3% Gemini 2.5 Ultra 91.8% 84.9% DeepSeek V3.5 90.4% 82.1% 问题： 头部模型在 MMLU 上已超过 90%，区分度严重不足。MMLU-Pro 将选项扩展到 10 个并引入更复杂的推理题，但头部模型仍在快速趋近饱和。 数据污染： 研究表明，MMLU 的部分题目出现在 Common Crawl 等公开语料中，模型可能通过记忆而非理解作答。MMLU-Pro 虽然缓解了部分问题，但仍有约 12% 的题目可在公开数据中找到高相似度匹配。 1.2 GPQA（Google-Proof Q&A） GPQA 由博士级专家出题，设计初衷是「无法通过 Google 搜索直接回答」。分为 GPQA-Main、GPQA-Extended 和 GPQA-Diamond 三个子集。 ...