悟道这个说法来自东方传统,指的是一种对世界整体的领会。它通常被描述成不可言说、只能亲证。
如果把它翻译成认知科学的语言,最接近的说法是:找到了一个能解释大量现象的极简结构。这个结构一旦握住,原先散落的知识会自动归位。
这个描述和压缩很像。
压缩和领悟的共同点在哪?
共同点在少驭多。一段复杂的现象,用一个短规则概括,之后遇到同类现象能快速应对。这就是压缩的经济性,也是领悟的实用价值。
物理学的定律是这个过程的典范。几个方程解释了从落苹果到行星运动的一切。掌握方程的人会有一种通透感,那种感觉就是悟。
差别在哪里?
差别在压缩的对象。数据压缩压的是符号,悟压的是经验。经验里有情绪、有身体、有时间。这些维度在符号里没有对应物,所以再好的模型也只能压住能被符号化的部分。
另一处差别是压缩之后的可用性。数据压缩之后可以还原,悟之后不能还原。你没法把通透感拆回成原始的经验片段。它是一次性的重构,不是无损的编码。
那模型在做什么?
模型做的是大规模压缩。它把语料压进参数,压得越好,泛化越强。这个过程确实会产生类似领悟的效果:某些能力在训练到一定程度后突然出现,模型开始能做之前做不了的事。
但它压的是符号,不是经验。所以它的通是符号层面的通,不是存在层面的通。
这个类比有用吗?
有用,它能解释两件事。第一,为什么悟往往发生在大量输入之后,因为压缩需要足够的样本才能找到那个极简结构。第二,为什么悟不可教,因为压缩的结果是个体的参数,不是可传递的文本。你可以告诉别人结论,不能告诉别人那个结构在他脑子里该怎么长。
那还剩下什么没说清?
剩下的是动机。人为什么想悟?因为不通透会难受,因为碎片化的知识带来焦虑。这是一种情绪驱动,不是效率驱动。
模型没有这种难受,所以它不会主动追求通透。它只在损失函数要求的地方压缩,其他地方随便。这就是为什么它的知识是均质的,没有轻重。
要让它像人一样悟,得先给它一个轻重。这件事目前没有解法,也不一定有解。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论