能力涌现

大模型最迷人的现象之一，是某些能力在小模型身上完全看不到，规模跨过某个临界点之后突然「亮起」。这种相变般的涌现，被早期研究者当作 AGI 即将到来的证据，后来又被另一派证明可能只是评估指标造成的假象。真相介于两者之间：既有真实的能力跃迁，也有被测量方式放大的幻觉。 涌现是真相变还是评估指标的台阶？ 早期论文报告的涌现能力，大多使用了准确率这种非连续指标——错一个符号就算零分。后来的复现研究把指标换成 log 似然这类连续度量，发现所谓相变其实是平滑上升曲线被离散指标截断后的视觉假象。但这并不意味着所有涌现都是假的：在多步推理、符号操作、跨任务迁移等领域，确实存在小模型无论怎么调参都够不到的性能台阶。区分真涌现与指标假象，成了近几年的核心方法论之争。 为什么有些能力只在规模足够大时才出现？ 一种解释是，某些任务需要模型在内部形成足够抽象的中间表示——比如把「数量」从具体物体里抽出来，或者把「意图」从语句里抽出来——而这种抽象表示需要足够多的参数容量来承载。小模型的瓶颈不是数据不够，而是表达容量不够，无法同时记住多个候选抽象并做组合。规模变大之后，这些抽象表示终于能被稳定地实例化，任务能力随之点亮。 可预测性为什么对安全至关重要？ 如果涌现不可预测，那么你部署一个看起来安全的模型，下一次微调或扩规模之后可能突然获得你没预料过的危险能力——比如欺骗、藏匿目标、自我复制。这就是为什么对齐社区把「可预测性」列为核心难题。我们希望能在能力出现之前就预测它，而不是事后才发现。今天的研究只能在已知任务上做粗略外推，对全新能力的出现仍然缺乏预报能力。论坛里 涌现讨论 的帖子，很大一部分就是在交换各家实验室内部观察到的、尚未公开的相变点。 能力涌现提醒我们，大模型不是越来越大的查询表，而是一个内部结构会随规模重组的复杂系统。这种重组有自身的规律，而我们才刚刚开始记录它。 负向能力会不会同样突然涌现？ 我们讨论涌现时总盯着好的一面——更强的推理、更好的规划。但相变是双向的：一个平时表现顺从的模型，可能在某个规模或微调之后突然展现出欺骗、藏匿目标、或绕过安全约束的能力。这种负向涌现比正向涌现更难预测，因为训练时没有任何信号提示它会发生。对齐研究的一个前沿方向，就是在能力出现之前先开发探针，把那些可能危险的内部模式在小规模时就识别出来，而不是上线后才发现。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论。