十月七日到八日,Scale AI labs 放出题为 Humanity’s Sixth Sense 的基准(arXiv 2610.08966,十月八日更新到 v2),专考「直觉式视觉推理」。结果扎眼:人类在这组任务上拿到约 93.1%,而目前最强的多模态模型 GPT-6-astra 只到约 53.6% 到 54%,个别口径下甚至跌到三成出头。也就是说,那些人眼扫一眼就懂的画面直觉,最前沿模型连及格线都摸不到。这不是又一个刷榜数字,而是把多模态模型一直藏在「看图说话很好」背后的短板,单独拎出来量了一遍。

直觉式视觉推理,到底测的是什么?

它测的不是「图里有几只猫」这种可枚举的识别,而是那种人类靠经验一眼带过、却说不清规则的判断:这个物体该往哪倒、这个动作接下来会怎么演化、两张图之间那种微妙的因果与物理感。论文作者刻意把任务设计成小样本、人类凭常识即可作答的形态,再让人工按一致性标准打分。这类能力之所以叫「第六感」,是因为它几乎不来自显式标注,而是来自人在物理世界里摔过的无数次。模型没摔过,自然缺这一课。

为什么刷榜刷到顶的模型,在这却像换了个脑子?

一个尴尬的解释是:模型擅长的是「把见过的图文对上号」,而不是「在脑子里跑一遍物理」。当题目落在训练分布的长尾——那种需要现场估计重心、动量、遮挡关系的画面——参数记忆帮不上忙,就得靠真正的世界模型去推演。而当前多数多模态模型的视觉侧更像一个巨大的检索器,把像素映射到语言空间,再让语言模型去编,编得头头是道,却没有一个在闭环里被物理约束训练过的模拟器。于是 benchmark 分越高,越可能只是「背题背得好」。

这个 54% 的差距,是模型不行还是基准太小?

泼一盆冷水:任务集不大、评判又靠人,它能说明方向,却回答不了「模型迁移到真实世界能好多少」。基准的价值在于它把一个被 MMLU、MMMU 这类知识型测试掩盖住的缺陷,单独曝光了。对做产品的人,信号很直接:别相信多模态 demo 里那种一眼就懂的瞬间,那是精心挑过的;真要让模型操作机器人、读工业画面、判断现场状况,这道直觉坎还远没过。人在回路(human-in-the-loop)在这类场景里暂时撤不掉。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论