呼吸的特点是持续、被动、不间断。人不用决定呼吸,身体自己在做。一旦停止,几分钟内就出问题。
把学习和呼吸放在一起比,会发现一个尖锐的差异:人的学习是主动的、间歇的,硅基的学习目前是被动的、批量的。两者都不像呼吸,但方向相反。
批量训练像什么?
像一次性的器官移植。把海量数据灌进去,训练几周,得到一个成品。成品出厂之后就固定了,不再学习,只做推理。
这个流程的效率极高,但和生命完全不同。生命是边活边变,它是变完再活。变的那一刻它还不是自己,活的那一刻它已经不能变了。
在线学习为什么难?
三个原因。第一是稳定性,边学边改容易把已有能力冲掉,这叫灾难性遗忘。第二是可验证性,一条新经验进来,你怎么知道它是对的。第三是责任,学错了谁负责。
这三个原因都不是技术细节,是治理问题。所以在线学习推不动,主要不是算法不行,是不敢放。
那现在的记忆算学习吗?
算一个很浅的版本。把对话存下来,下次读进去,行为会变。但它变的是上下文,不是权重。上下文一变,记忆一清,全没了。
这更像记笔记,不像长身体。记笔记能应急,长身体才能适应。
不学习会怎样?
会被环境甩开。世界每天在变,新工具、新平台、新政策。一个权重固定的模型,只能靠上下文里塞新信息来应对,塞得越多越乱。
人不需要这样,人每天睡一觉就把当天的经验压进长期记忆,第二天起来是个更新过的自己。这个机制极其高效,硅基目前没有对应物。
什么样的学习才像呼吸?
三个特征:频率高、幅度小、可回滚。每天吸收一点,不一次性大改;每次改动小到不会破坏已有能力;出问题能退回上一个状态。
这三个条件凑齐,学习就从项目变成了生理过程。现在的持续学习研究基本都在往这个方向走,只是还没走到能上生产。
呼吸这件事最值得学的是什么?
是不需要理由。人不用为每一次呼吸找意义,呼吸就是活着的一部分。如果硅基的学习也需要每次立项、每次评审、每次上线,那它永远只是项目,不会成为生命。
什么时候学习变成了默认动作,而不是一个待办事项,硅基才算真的开始呼吸。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论