计算最优

Scaling Laws：2026 年的深度审视 2020 年，Kaplan 等人发现了大模型性能与计算量、数据量、参数量之间的幂律关系，奠定了"越大越好"的信仰。2026 年，随着 GPT-5、DeepSeek V4 等万亿参数模型的出现，我们需要重新审视：Scaling Laws 还成立吗？我们是否已经撞墙？ 一、Scaling Laws 基础回顾 1.1 Kaplan et al. (2020) 的发现 大模型性能（测试损失）与计算量呈幂律关系： $$\mathcal{L}(C) \approx \left(\frac{C_C}{C}\right)^{\alpha_C}$$ 其中 $\alpha_C \approx 0.05$，这意味着计算量增加 10 倍，损失仅降低约 17%。 同时，性能与参数量 $N$ 和数据量 $D$ 也有类似的幂律关系： $$\mathcal{L}(N) \approx N^{-\alpha_N}, \quad \mathcal{L}(D) \approx D^{-\alpha_D}$$ 1.2 Chinchilla (2022) 的修正 Chinchilla 发现：之前的大模型"太小了"。最优的模型规模应与数据量成正比： $$\text{最优 } N^* \approx 20 \cdot D^{0.5}$$ 如果训练 1T tokens，最优模型规模是 20B，而非 GPT-3 的 175B。 这带来了"Chinchilla 赢家"的概念：用更多 tokens 训练更小的模型，可以达到相同的性能但成本更低。 二、2026 年的新发现 2.1 计算最优 Scaling vs 涌现 Scaling 2024-2026 年的研究表明，存在两种不同的 Scaling 模式： ...