模型在训练到某个规模后,突然在某一类任务上表现出远超预期的能力,业内常把这种现象叫「涌现」或者「顿悟」。这个词很诱人,也容易被包装成玄学。把它拆开看,其实一半是算法,一半是工程。

模型表现出的顿悟是什么现象?

典型表现是:在小规模上几乎做不对的任务,规模上去之后准确率跳变,而不是平滑上升。比如多步算术、指令跟随、思维链推理。跳变让人兴奋,因为它看起来像「突然学会了」。但如果换一批题、换一种问法,跳变可能消失,说明它学到的未必是通用能力,而是某类分布的解法。

涌现能力可复现吗?

部分可复现,部分不可。可复现的是那些有明确结构、能被评测集覆盖的能力;不可复现的是评测集之外的泛化。这也是为什么同一个模型在不同榜单上表现差异很大。把不可复现的部分当成稳定能力写进产品承诺,是常见的翻车原因。

工程上能主动制造顿悟吗?

不能制造,能促成。三件事实测有效:给足中间步骤的示范,让模型学会「先拆再答」;把任务拆成可验证的子步,用工具补上它不擅长的计算;在关键节点插入自检,让它在错误扩散前发现。这些做法不会让模型变聪明,但会让它在具体任务上表现得像「突然会了」。

把顿悟当卖点有什么风险?

风险是预期管理失控。用户看到一次惊艳输出,会假定它次次如此;一旦某次失败,信任掉得比从未惊艳过更快。更稳的做法是把能力描述成区间而非峰值:多数情况下能做到什么程度、哪些情况会失败、失败后怎么补救。把峰值当常态卖,赚的是第一单,亏的是复购。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论