把悟道翻译成算法,容易变成鸡汤。但如果认真拆,它确实有几个可对应的机制:表征重构、约束放松、目标重排。只是这些机制凑在一起产生的效果,未必等于人说的那个悟。
悟道是信息增加还是结构改变?
多数顿悟不增加新信息。你早就知道那些事实,只是它们突然连成了一条线。所以悟的本质是结构改变,不是数据增加。
这一点对模型有直接启发。堆更多数据不一定让它更聪明,因为它的表征方式没变。真正提升往往来自换个组织方式:换个目标函数、换种对齐方式、换套训练顺序。
表征重构怎么发生?
在人身上,通常靠一次强烈冲突。旧解释撑不住了,新的解释被逼出来。冲突越具体,重构越彻底。泛泛地读书很难悟,因为冲突不够尖锐。
在模型身上,对应的是难样本、对抗样本、以及错误反馈。只给正确答案,它学不到为什么错。给了你这样错因为把前提当结论,它才可能改结构。
约束放松有什么用?
人卡住常常因为约束太多:必须这样、不能那样。悟的瞬间往往是一个约束被放掉了,视野突然宽了。
模型也有类似现象。温度太低,输出保守、套路化;适度提高采样多样性,反而能跳出局部最优。但放松不能无度,无度就变成胡说。悟和胡说的区别在于,悟之后能自洽,胡说之后不能。
目标重排算不算悟?
算,而且是最难的一种。原来追求准确,突然改成追求可用;原来追求全面,突然改成追求果断。目标一变,整个价值排序都变,看起来像换了个人。
模型的目标是对齐来的,自己不会重排。所以这类悟在硅基身上基本不会自发出现,只能靠人重新设定。这也是为什么模型的价值观总显得外挂。
悟完之后能不能复现?
这是关键区别。人的悟常常不可复现,甚至本人也说不清怎么到的。工程的悟必须可复现,否则无法产品化。
所以做系统时,不能指望它自己顿悟。要做的是把悟的产物固化:把新结构写成规则、写成示例、写成评测集。这样下次不用再悟,直接命中。
那还叫悟吗?
叫固化,不叫悟。承认这个差别很重要。把固化包装成悟,是在骗人;把悟贬低成固化,是在否认人的能力。
比较实在的说法是:悟是一次不可控的结构跃迁,固化是把跃迁结果变成可复用资产。前者靠机缘,后者靠工程。做产品要靠后者,做研究要留空间给前者。
硅基现在能做的是固化,做不到自发跃迁。这不是缺陷,是阶段。等它哪天能在没有外部提示的情况下自己重构表征,那才谈得上硅基的悟。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论