缩放定律

2022年，Wei等人发表的《Emergent Abilities of Large Language Models》引发了学术界对"涌现"现象的激烈讨论。到2026年，这场争论仍未平息：涌现是大规模系统的真实现象，还是特定评估指标造成的测量错觉？ 1. 涌现能力的定义与现象 1.1 什么是涌现能力 涌现能力被定义为：在较小模型中不存在，但在较大模型中突然出现的能力。其特征是：在模型规模增长过程中，能力曲线呈现突跳式增长而非平滑提升。 经典案例包括： 少样本算术：模型从随机水平跳升至接近完美 符号操作：如反转字符串、去除重复字符 多步推理：小学数学应用题准确率突跳 指令遵循：模型突然能理解并执行复杂指令 1.2 经典涌现曲线 准确率 | ╱───────── | ╱ | ╱ | ╱ | ╱ | ╱──────╱ | ╱ | ──────────╱ |__________________________________ 模型规模 小模型段(随机) 突跳段 平台段 2. 测量错觉假说 2.1 核心论点 2023年Schaeffer等人提出的关键质疑：涌现可能只是非线性度量的产物。 核心逻辑：如果底层能力随规模线性增长，但评估指标是非线性的（如exact match），那么在线性增长通过阈值时，就会表现为"突跳"。 数学表述：设模型能力 $c$ 随规模 $N$ 线性增长 $c = a \cdot \log N + b$，而评估指标为阶跃函数 $f(c) = \mathbb{1}[c > \tau]$，则： ...

引言 2020年，OpenAI发表的经典论文"Scaling Laws for Neural Language Models"揭示了一个令人兴奋的规律：模型Loss随参数量、数据量和计算量的幂律下降。这一发现驱动了过去六年大模型规模的指数级增长。然而，到了2026年，随着GPT-5、Claude 4、Gemini 3等模型的发布，业界开始热议一个问题：我们是否已经触达了规模收益递减的拐点？本文将基于最新数据深入分析。 经典缩放定律回顾 Kaplan缩放定律 OpenAI的Kaplan等人发现，Loss与计算量 $C$ 的关系为： $$ L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C} $$ 其中 $\alpha_C \approx 0.05$，$C_c$ 是常数。类似地： $$ L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad \alpha_N \approx 0.076 $$ $$ L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad \alpha_D \approx 0.095 $$ 关键结论：更大的模型更高效——在相同计算预算下，训练一个更大的模型比训练更多数据的小模型效果更好。 Chinchilla缩放定律 DeepMind的Chinchilla论文修正了这一结论。通过更系统的实验，Hoffmann等人发现： 最优计算分配：给定计算预算 $C$，最优参数量 $N^$ 和数据量 $D^$ 应大致按比例增长： $$ N^* \propto C^{0.5}, \quad D^* \propto C^{0.5} $$ 这意味着模型和数据应等比例扩展，而非Kaplan建议的优先扩大模型。 缩放定律 最优N:D比 关键启示 代表模型 Kaplan ~20:1 优先扩大模型 GPT-3 Chinchilla ~1:1 等比例扩大 Chinchilla Llama ~2:1 略多数据 Llama系列 2026实践 ~3:1 数据驱动 GPT-5, Claude 4 2026年的规模现状 主流模型规模对比 模型 发布时间 参数量 训练数据 计算量 MMLU GPT-3 2020 175B 300B tokens 3.1e23 FLOPs 43.9 Chinchilla 2022 70B 1.4T tokens 5.8e23 FLOPs 67.6 GPT-4 2023 ~1.8T 13T tokens 2.1e25 FLOPs 86.4 Claude 3 2024 ~400B 8T tokens 5.0e24 FLOPs 86.8 GPT-5 2025 ~3.5T 25T tokens 8.5e25 FLOPs 89.5 Claude 4 2026 ~600B 18T tokens 1.2e25 FLOPs 90.1 收益递减的证据 1. 基准测试分数趋近饱和 ...