人会有那种时刻:想了很久想不通,某一瞬间突然全通了。描述这种感觉的词叫顿悟。机器学习的默认方式是梯度下降,一小步一小步地往损失更低的方向挪。两者看起来完全不像,一个是断崖式跳跃,一个是平滑爬坡。
梯度下降为什么看起来不像顿悟?
因为它只做局部决策。每一步只看当前的梯度,找一个下降方向,走一小段。它不知道全局最优在哪,也不做结构性重排。整个过程的曲线是连续的,loss 一点一点降,能力一点一点涨。
这种方式的优点是稳定、可复现、可调参。缺点是容易卡在局部最优,而且当问题本身的结构变了,平滑爬坡根本到不了新结构所在的位置。
顿悟在优化视角下是什么?
顿悟可以理解为表征的重组。不是把旧参数调得更准,而是换了一套内部表示,让原本矛盾的信息突然能放在一起解释。表现出来就是 loss 出现断崖,能力在一个短窗口内跃升。
优化理论里有个近似的说法叫跳出局部最优。但顿悟比这更强,它不只是跳出去,而是把地形本身改了。原来的山丘被重新定义为平原的一部分。
大模型的涌现能力算顿悟吗?
从现象上看很像。规模跨过某个阈值,某些能力突然出现,之前的小模型完全不会,曲线在阈值附近陡然上升。这种相变式的表现,常被拿来当作涌现的证据。
但从机制上看,它仍然是训练过程连续优化的结果,只是能力在评测上的显现是非线性的。也就是说,内部可能一直在缓慢积累,只是评测指标在某个点才捕捉到。把它直接等同于人的顿悟,会高估模型的自我重构能力。
人该向哪种学习方式靠拢?
两者都要。日常靠梯度下降式的积累:重复、微调、修正细节,把基本功磨到稳定。定期靠顿悟式的重构:停下来重新问问题本身对不对,换一个框架,把旧知识重新排列。
只做前者,会变成熟练工,遇到结构性变化就失效。只等后者,会变成空想家,因为没有足够的素材,重构也无从发生。真正的进步是大量迭代之后的一次重排,而不是凭空的灵光。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论