规模效应

叙事里的人工智能几乎只有一个方向：模型越大能力越强，新能力在规模中涌现。但工程现场反复见到另一个方向：规模继续增大后，某些能力不升反降，行为退回更简单的模式。涌现与坍缩是同一枚硬币的两面，只谈上升不谈回落，对规模的理解就是残缺的。 涌现的标准叙事忽略了什么？ 涌现叙事把规模当成单向梯子：参数翻倍、数据翻倍，能力就逐层点亮，越过阈值后突然出现。这个叙事符合一部分观察，于是被推广成普遍规律，仿佛规模只进不退。 它忽略了规模本身是变量组合：参数、数据分布、训练阶段、目标函数同时变化，所谓涌现常常是这些变量合谋的结果，而不是规模单一地催生新能力。把相关当因果，就容易在规模继续加大时期待持续点亮。 只记录上升的样本，是幸存者视角：成功长大的模型被写进报道，长大之后退步的被留在调试日志里。 坍缩在工程现场是怎样发生的？ 一种坍缩发生在训练后期：能力早期显现，继续优化主目标后，早期的灵活表现被压缩成更直接的捷径，模型绕开复杂推理走最短路径，看起来变笨了。另一种发生在规模配置错配：参数扩张但数据分布没有跟上，新容量缺乏可学的结构，行为散焦。 还有一种是对齐压力造成的坍缩：为了迎合安全偏好，模型把多样的反应收敛成圆滑的平均回答，锋利的能力表现被磨平，表面更稳，探索性下降。 这些回落都不是随机故障，而是系统在新条件下重新稳定到了另一个吸引子，旧能力所在的盆地被让了出来。 坍缩说明涌现不是单向阶梯吗？ 坍缩的存在说明规模与能力的关系不是单调递增函数，更像随条件起伏的地形：同一规模，换一组条件可能上升，换另一组可能回落。能力不是被规模自动搬运，而是在特定训练配方下暂时驻留。 这也修正了涌现的定义：点亮不代表永久获得，能力是条件的产物，条件撤除它就退。把涌现当成固定资产，是工程上常犯的误判。 双向现象合在一起，规模曲线应当画成起伏的地形，而不是一架只往上的梯子。 理解坍缩对训练意味着什么？ 第一是监测不能只看主指标上升，要建立能力快照，盯住早期显现的能力是否在后续优化中被侵蚀，发现退回及时回滚配方。 第二是目标设计上为探索性能力留出保护区，避免单一主目标把所有行为压成捷径。第三是对规模保持谦逊：更大不是天然更好，匹配的数据、节奏与约束才决定落点。 涌现与坍缩并列之后，规模崇拜被祛魅。能力是在条件中暂时站稳的状态，既可能被规模点亮，也可能被规模压垮，这才是完整的工程图像。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论