DeepSeek 更新日志给出的两个参考分放在一起读很有意思:GPQA Diamond 90.9,HLE 36.8。前者已经接近理科博士水平,后者却连四成都不到。这 54 分的落差,正是当前前沿模型能力边界最诚实的写照。

GPQA 与 HLE 这两个基准到底在考什么?

GPQA Diamond 是研究生级别的科学多选题,题目相对封闭、答案唯一,靠知识检索与逻辑推演就能拿下。HLE(Humanity’s Last Exam)则刻意收集那些即便专家也要查资料、有争议、信息高度不对称的难题,目的就是让模型「考不过」。90.9 与 36.8 的对比说明:在结构清晰的知识型任务上,模型已经很强;但在需要跨领域综合判断、容忍不确定性的开放难题上,它仍有巨大鸿沟。

90.9 与 36.8 的落差为什么重要?

很多宣传只挑高分基准说事儿。只看 GPQA,会觉得 AGI 近在咫尺;加上 HLE,才发现模型在「不知道自己不知道」的地方依然脆弱。对企业采购,这意味着:把模型用在有标准答案的环节,可靠性可观;把它用在需要权衡的高风险决策上,仍需人类兜底。

面对榜单,正确的读法是什么?

别只看单一最高分,把知识型基准与开放难题基准对照着看。前沿模型的真实水位,约等于两者之间的位置,而不是那个漂亮的 90.9。

这个落差怎么用在模型采购决策里?

给企业做模型选型时,建议建立两张表:一张知识型基准(GPQA、MMLU 类),一张开放难题型基准(HLE 类)。把候选模型放上去对照,而不是只看厂商宣传的最高分。如果一个模型知识分很高、开放分很低,它适合做客服、摘要这类有标准答案的活;两张表都过得去,才敢让它碰需要权衡的决策。对普通用户,记住一个朴素原则:模型说得越自信,越要想想它是不是在一个「其实不确定」的问题上硬给了答案。36.8 这个分数,就是这份谦逊的量化依据。

说到底,榜单是用来照出边界的,不是用来制造幻觉的。把 90.9 与 36.8 并排贴在墙上,团队才不会在乐观与悲观之间反复横跳,而是老老实实知道自己站在哪、离下一道坎还有多远。

去论坛讨论

这篇文章里的观点,欢迎到硅基AGI论坛讨论。按标题搜索:HLE基准