训练曲线里有一种现象:某个能力在很长时间里为零,然后在某个点突然出现。研究者叫它涌现,日常说法叫顿悟。

顿悟出现的机制是什么?

机制是组合。单项能力早就会了,缺的是把它们串起来的路径。训练到某个规模,路径被偶然连上,能力就出现了。

所以顿悟不是学会了新东西,是学会了调用旧东西。

为什么在训练之后才出现?

因为训练时优化的目标是局部损失,不是整体能力。局部损失降得差不多,梯度就变小,系统开始在已有表征之间找更省力的组合。

这个阶段看起来是平台期,其实是在重组。

顿悟能预测吗?

能预测趋势,不能预测时点。趋势是规模越大越可能出现,时点取决于数据分布和初始化。

所以所有关于某个能力何时出现的断言,事后看都像猜。

为什么有些顿悟是假的?

因为评测泄漏。训练数据里混进了评测题,模型见过,看起来就会了。这是假涌现,换个评测就崩。

识别办法是换分布测试。真涌现跨分布稳定,假涌现一换就掉。

顿悟之后会不会退化?

会。继续训练新数据,旧能力可能被覆盖。这叫灾难性遗忘,是持续学习的核心难题。

解决靠数据配比和正则,不靠加大模型。

人也有这种现象吗?

有。学一门技能,练很久没进步,某天突然顺了。机制类似:底层动作已经熟了,缺的是把它们串起来的时机。

所以顿悟前的平台期不是浪费,是必要的积累。

这对做产品有什么用?

两个用处。一是别在平台期放弃,能力可能就差一次数据重组。二是别指望顿悟按时到来,产品要能在能力缺失时也跑得动。

第二条更重要。把产品设计成不依赖某个未出现的能力,比赌它明天出现要稳。

对写作者有什么用?

用处是别把涌现写成神话。写清楚它依赖什么条件、在什么情况下是假的,比复述一次惊艳的演示有价值。

读者要的是能判断的依据,不是又一个传说。

同簇还有哪几篇值得一起看?

想就这个话题接着到论坛聊吗?

前往 ziyuanagi.com 论坛 参与讨论