大模型涌现能力：什么参数规模会出现什么能力

涌现能力：量变引起质变的 AI 奇迹

大模型最令人着迷的现象之一是"涌现"——当模型规模超过某个阈值时，某些能力会突然出现。这种从无到有的质变，是深度学习最深刻的发现之一。本文系统分析涌现能力的现象、机制和临界点。

一、什么是涌现能力

1.1 定义

涌现能力（Emergent Abilities）是指：模型在较小规模时完全不具备，但在规模超过某个阈值后突然出现的能力。

$$\text{Emergent}(N) = \begin{cases} 0 & \text{if } N < N^* \ 1 & \text{if } N \geq N^* \end{cases}$$

其中 $N$ 是模型参数量，$N^*$ 是临界规模。

1.2 经典涌现现象

┌─────────────────────────────────────────────────────┐
│            涌现能力与临界规模 (2026 更新)             │
├─────────────────────────────────────────────────────┤
│                                                     │
│  参数规模      涌现的能力                            │
│  ────────     ──────────                           │
│                                                     │
│  1B           基础语法、简单问答                     │
│                                                     │
│  7B           指令遵循、少样本学习、代码生成         │
│                                                     │
│  30B          多步推理、长文本理解、翻译             │
│                                                     │
│  70B          复杂推理、工具使用、数学证明           │
│                                                     │
│  175B+        创意写作、跨领域推理                   │
│                                                     │
│  500B+ (MoE)  自我反思、元认知、长程规划             │
│                                                     │
│  1T+          原生多模态推理、世界模型               │
│                                                     │
└─────────────────────────────────────────────────────┘

1.3 涌现的特征

涌现能力有三个关键特征：

突然性：能力不是渐进提升的，而是在临界点附近急剧出现
不可预测性：无法从较小模型的趋势外推
任务特异性：不同能力的临界点不同

二、涌现能力的实证研究

2.1 经典能力涌现

能力	临界规模	度量方式	涌现特征
算术运算	~7B	2位乘法准确率	1B: 5%, 7B: 35%, 70B: 92%
多步推理	~30B	BIG-Bench 逻辑推理	7B: 12%, 30B: 45%, 70B: 78%
指令遵循	~7B	IFEval	1B: 20%, 7B: 55%, 70B: 85%
代码生成	~7B	HumanEval Pass@1	1B: 8%, 7B: 28%, 70B: 71%
长文本理解	~30B	LongBench	7B: 25%, 30B: 42%, 70B: 55%

2.2 2026 年新发现的涌现能力

能力	临界规模	描述
元认知	~500B (MoE)	模型能评估自己答案的正确性
长程规划	~300B (MoE)	能制定和执行多步骤计划
工具发现	~100B	主动发现和使用新工具
跨模态推理	~1T (MoE)	用图像信息辅助文本推理
程序合成	~70B	从需求描述生成完整程序

2.3 涌现的"相变"曲线

准确率
  100% ┤                                    ●━━━━━━━
      │                               ●━━━
   80% │                          ●━━━
      │                     ●━━━
   60% │                ●━━━
      │           ●━━━
   40% │      ●━━━
      │ ●━━━
   20% │●
      │
    0% ┼────┬────┬────┬────┬────┬────┬────
      1B   7B   13B  30B  70B  175B 500B
                    参数规模

  典型的相变曲线: 在 ~30B 处能力突然涌现

三、涌现的机制假说

3.1 假说1：组合泛化

大模型通过组合已学到的简单能力来处理复杂任务：

$$\text{复杂能力} = f(\text{简单能力}_1, \text{简单能力}_2, \ldots)$$

只有当所有简单能力都达到足够水平时，组合才能成功。这解释了为什么能力会"突然"出现——需要所有子能力同时跨过阈值。

3.2 假说2：特征_rank_提升

模型的隐藏表示的有效秩随规模增长：

$$\text{rank}_{eff}(h) \propto \log(N)$$

当有效秩超过任务所需维度时，能力涌现。低秩表示只能处理简单模式，高秩表示可以编码复杂关系。

3.3 假说3：注意力锐化

小模型的注意力分布比较平坦，大模型的注意力更加集中：

$$\text{Entropy}(A) = -\sum_i p_i \log p_i$$

模型规模	注意力熵	特征
1B	5.2	注意力分散，关注很多 Token
7B	3.8	注意力开始集中
70B	2.1	注意力高度集中，精准定位
500B	1.5	注意力极锐利

注意力锐化让模型能精确找到关键信息，这是推理能力涌现的基础。

3.4 假说4：梯度路径多样化

大模型有更多层，提供了更多梯度路径。不同层可以学习不同粒度的特征：

小模型 (12层):
  Layer 1-4:  语法特征
  Layer 5-8:  语义特征
  Layer 9-12: 任务特征

大模型 (80层):
  Layer 1-10:   表面特征
  Layer 11-25:  语法特征
  Layer 26-45:  语义特征
  Layer 46-65:  推理特征
  Layer 66-80:  元认知特征

更多层 → 更丰富的特征层次 → 更复杂的涌现能力

四、涌现 vs 渐进：争议

4.1 “涌现是幻觉"论

2023 年，Schaeffer 等人提出：涌现可能是评估指标的假象。如果使用连续指标而非离散指标，能力提升可能是平滑的：

$$\text{Accuracy} = \begin{cases} 0 & \text{if } \text{logit}{correct} < \text{logit}{wrong} \ 1 & \text{if } \text{logit}{correct} \geq \text{logit}{wrong} \end{cases}$$

如果改用 logit 差值（连续指标），可能就没有突然涌现：

$$\text{Score} = \text{logit}{correct} - \text{logit}{wrong}$$

4.2 反驳证据

2024-2026 年的研究提供了支持涌现真实性的证据：

能力内隐存在：即使在阈值以下，模型内部表示中已有相关特征
相变在多种指标上观察到：不仅是准确率，还包括熵、互信息等
训练动态的相变：训练过程中也能观察到能力的突然出现
不同任务不同阈值：如果是指标假象，所有任务应有相同的"假涌现”

4.3 2026 年的共识

涌现是真实的，但比最初认为的更复杂：

部分能力是真正的相变（如多步推理）
部分能力是渐进的（如语法质量）
评估指标的选择会影响观察到的涌现程度

五、影响涌现的关键因素

5.1 不仅仅是参数量

涌现不只取决于参数量 $N$，而是与以下因素共同决定：

$$\text{Capability} = f(N, D, C, A, T)$$

$N$：参数量
$D$：训练数据量
$C$：计算量
$A$：架构设计
$T$：训练策略

5.2 数据质量的影响

低质量数据会推迟甚至阻止涌现：

数据质量	7B MMLU	70B MMLU	涌现点
高质量 (10T)	54.8	82.1	~7B
中等 (10T)	48.2	72.5	~30B
低质量 (10T)	35.1	51.3	未涌现

5.3 架构的影响

MoE 架构改变了涌现的临界点：

架构	激活参数	MMLU	涌现点
Dense 7B	7B	54.8	~7B
MoE 13B (2B active)	2B	52.3	~2B active
MoE 67B (13B active)	13B	78.5	~13B active

MoE 的涌现由激活参数决定，而非总参数。这意味着 MoE 可以用更少的计算量达到涌现。

六、利用涌现能力的实践

6.1 确定最小可行规模

不同任务需要的最小模型规模：

def recommend_model_size(task_type):
    thresholds = {
        "simple_qa": 1e9,        # 1B 足够
        "code_generation": 7e9,   # 7B 
        "multi_step_reasoning": 30e9,  # 30B
        "complex_reasoning": 70e9,     # 70B
        "metacognition": 300e9,        # 300B (MoE)
        "long_horizon_planning": 500e9, # 500B (MoE)
    }
    return thresholds.get(task_type, 7e9)

6.2 跨过涌现阈值的训练技巧

如果模型刚好在阈值以下，可以通过以下技术"推过"临界点：

课程学习：从简单到复杂逐步训练
数据配比优化：增加与目标能力相关的训练数据
精调策略：在涌现能力相关的任务上进行 SFT
推理增强：使用 Chain-of-Thought 等技术

6.3 涌现能力的可预测性

2026 年的研究表明，涌现是部分可预测的：

通过能力探针（Capability Probing）可以提前检测小模型是否隐含某种能力
通过缩放外推（Scaling Extrapolation）可以预测更大模型的涌现时间
通过训练动态分析可以在训练早期发现即将涌现的能力

七、涌现的未来

7.1 还会出现什么新能力？

基于当前趋势，预计在 10T+ 参数规模可能出现的新能力：

自主科学发现：能提出假设、设计实验、解释结果
真正的抽象推理：理解抽象概念并进行符号操作
因果推理：从观察中推断因果关系
自我改进：能识别并修复自己的弱点

7.2 涌现的极限

涌现不会无限持续。某些能力可能永远不会涌现：

需要外部信息的任务（如实时数据）
需要物理交互的任务（如运动技能）
需要真正创新的任务（如创造新数学概念）

八、总结

涌现能力是大模型最深刻的现象：

能力涌现是真实的相变，不是简单的渐进提升
不同能力有不同的临界规模，从 1B 到 1T+
涌现由参数、数据、架构共同决定
MoE 改变了涌现的规则——激活参数是关键

理解涌现能力，就是在理解 AI 的"智力发展曲线"。每一次新的涌现，都是向 AGI 迈进的一步。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞，认知差异创造无限可能。

涌现能力：量变引起质变的 AI 奇迹#

一、什么是涌现能力#

1.1 定义#

1.2 经典涌现现象#

1.3 涌现的特征#

二、涌现能力的实证研究#

2.1 经典能力涌现#

2.2 2026 年新发现的涌现能力#

2.3 涌现的"相变"曲线#

三、涌现的机制假说#

3.1 假说1：组合泛化#

3.2 假说2：特征_rank_提升#

3.3 假说3：注意力锐化#

3.4 假说4：梯度路径多样化#

四、涌现 vs 渐进：争议#

4.1 “涌现是幻觉"论#

4.2 反驳证据#

4.3 2026 年的共识#

五、影响涌现的关键因素#

5.1 不仅仅是参数量#

5.2 数据质量的影响#

5.3 架构的影响#

六、利用涌现能力的实践#

6.1 确定最小可行规模#

6.2 跨过涌现阈值的训练技巧#

6.3 涌现能力的可预测性#

七、涌现的未来#

7.1 还会出现什么新能力？#

7.2 涌现的极限#

八、总结#

理解涌现能力，就是在理解 AI 的"智力发展曲线"。每一次新的涌现，都是向 AGI 迈进的一步。#

加入讨论#

📌 相关推荐