有些能力看起来是语言能力,追到底却是空间能力。说「把左边的盒子放到右边那个上面」,这句话能不能执行,取决于听者有没有一套稳定的空间坐标系。
语言里的空间词靠什么支撑?
靠参照系。左右要以某个朝向为准,上下要以重力为准,前后要以观察者为准。参照系一换,同一句话指向就变。
人处理这类句子几乎无感,因为身体早就把参照系固化了。模型处理这类句子经常出错,因为它没有固定的朝向,只能从上下文猜。
空间感能纯靠文本学出来吗?
能学个大概,学不出稳定。文本里的空间描述互相矛盾,作者的视角各不相同。模型读多了,得到的是一团平均化的空间直觉。
这团直觉在简单题上够用,在需要多步变换的题上会散。因为它没有可执行的旋转和投影操作。
为什么空间操作对推理重要?
因为推理常要做三件事:分解、对齐、传递。空间操作天生就是这三件事的练习。把一个大盒子拆成几个小格,是分解;把两张地图对上,是对齐;从 A 到 B、B 到 C 推出 A 到 C,是传递。
会做空间操作的存在,做抽象推理时更稳,因为它有可借用的算子。
机器人为什么要先学空间?
因为它的动作全在空间里。抓取要先定位,移动要避障,装配要对齐。这些任务的误差会累积,空间表征不稳,误差就滚雪球。
所以现在的机器人训练,第一课往往是重建:从多视角图像重建场景,把空间的骨架先立起来。
空间感会不会限制抽象能力?
会,但是好的限制。没有空间约束的抽象容易飘,什么都能解释,什么都落不了地。
空间给抽象一个锚:这个说法在三维里对应什么动作。对不上,就说明这个说法是空的。
怎么判断一个系统的空间感是真的?
三个测试。第一,换视角。同一场景从对面看,它能不能说出左右变了。第二,做遮挡。把关键物体挡住一部分,它能不能补全位置。第三,连续动作。让它走三步再回头,能不能说清自己在哪。
第一项过不了,说明它只有平面标签;第二项过不了,说明它没有三维模型;第三项过不了,说明它没有自身定位。
这对做内容的人有什么启发?
启发在选题。讲 AI 能力的文章太多,讲 AI 缺哪种基础能力的太少。空间感这种题目看着冷,其实是所有落地问题的根。
写清楚一个基础能力的缺口,比写十个应用案例更有搜索价值,因为它回答的是为什么不行,而不只是怎么用。
地基不牢的楼,装修再漂亮也撑不住。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论