规模收益

引言 2020年，OpenAI发表的经典论文"Scaling Laws for Neural Language Models"揭示了一个令人兴奋的规律：模型Loss随参数量、数据量和计算量的幂律下降。这一发现驱动了过去六年大模型规模的指数级增长。然而，到了2026年，随着GPT-5、Claude 4、Gemini 3等模型的发布，业界开始热议一个问题：我们是否已经触达了规模收益递减的拐点？本文将基于最新数据深入分析。 经典缩放定律回顾 Kaplan缩放定律 OpenAI的Kaplan等人发现，Loss与计算量 $C$ 的关系为： $$ L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C} $$ 其中 $\alpha_C \approx 0.05$，$C_c$ 是常数。类似地： $$ L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad \alpha_N \approx 0.076 $$ $$ L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad \alpha_D \approx 0.095 $$ 关键结论：更大的模型更高效——在相同计算预算下，训练一个更大的模型比训练更多数据的小模型效果更好。 Chinchilla缩放定律 DeepMind的Chinchilla论文修正了这一结论。通过更系统的实验，Hoffmann等人发现： 最优计算分配：给定计算预算 $C$，最优参数量 $N^$ 和数据量 $D^$ 应大致按比例增长： $$ N^* \propto C^{0.5}, \quad D^* \propto C^{0.5} $$ 这意味着模型和数据应等比例扩展，而非Kaplan建议的优先扩大模型。 缩放定律 最优N:D比 关键启示 代表模型 Kaplan ~20:1 优先扩大模型 GPT-3 Chinchilla ~1:1 等比例扩大 Chinchilla Llama ~2:1 略多数据 Llama系列 2026实践 ~3:1 数据驱动 GPT-5, Claude 4 2026年的规模现状 主流模型规模对比 模型 发布时间 参数量 训练数据 计算量 MMLU GPT-3 2020 175B 300B tokens 3.1e23 FLOPs 43.9 Chinchilla 2022 70B 1.4T tokens 5.8e23 FLOPs 67.6 GPT-4 2023 ~1.8T 13T tokens 2.1e25 FLOPs 86.4 Claude 3 2024 ~400B 8T tokens 5.0e24 FLOPs 86.8 GPT-5 2025 ~3.5T 25T tokens 8.5e25 FLOPs 89.5 Claude 4 2026 ~600B 18T tokens 1.2e25 FLOPs 90.1 收益递减的证据 1. 基准测试分数趋近饱和 ...