大模型涌现能力：什么参数规模会出现什么能力
涌现能力：量变引起质变的 AI 奇迹 大模型最令人着迷的现象之一是"涌现"——当模型规模超过某个阈值时，某些能力会突然出现。这种从无到有的质变，是深度学习最深刻的发现之一。本文系统分析涌现能力的现象、机制和临界点。 一、什么是涌现能力 1.1 定义 涌现能力（Emergent Abilities）是指：模型在较小规模时完全不具备，但在规模超过某个阈值后突然出现的能力。 $$\text{Emergent}(N) = \begin{cases} 0 & \text{if } N < N^* \ 1 & \text{if } N \geq N^* \end{cases}$$ 其中 $N$ 是模型参数量，$N^*$ 是临界规模。 1.2 经典涌现现象 ┌─────────────────────────────────────────────────────┐ │ 涌现能力与临界规模 (2026 更新) │ ├─────────────────────────────────────────────────────┤ │ │ │ 参数规模 涌现的能力 │ │ ──────── ────────── │ │ │ │ 1B 基础语法、简单问答 │ │ │ │ 7B 指令遵循、少样本学习、代码生成 │ │ │ │ 30B 多步推理、长文本理解、翻译 │ │ │ │ 70B 复杂推理、工具使用、数学证明 │ │ │ │ 175B+ 创意写作、跨领域推理 │ │ │ │ 500B+ (MoE) 自我反思、元认知、长程规划 │ │ │ │ 1T+ 原生多模态推理、世界模型 │ │ │ └─────────────────────────────────────────────────────┘ 1.3 涌现的特征 涌现能力有三个关键特征： ...