Scaling Laws 2026：我们是否已经撞墙

Scaling Laws：2026 年的深度审视

2020 年，Kaplan 等人发现了大模型性能与计算量、数据量、参数量之间的幂律关系，奠定了"越大越好"的信仰。2026 年，随着 GPT-5、DeepSeek V4 等万亿参数模型的出现，我们需要重新审视：Scaling Laws 还成立吗？我们是否已经撞墙？

一、Scaling Laws 基础回顾

1.1 Kaplan et al. (2020) 的发现

大模型性能（测试损失）与计算量呈幂律关系：

$$\mathcal{L}(C) \approx \left(\frac{C_C}{C}\right)^{\alpha_C}$$

其中 $\alpha_C \approx 0.05$，这意味着计算量增加 10 倍，损失仅降低约 17%。

同时，性能与参数量 $N$ 和数据量 $D$ 也有类似的幂律关系：

$$\mathcal{L}(N) \approx N^{-\alpha_N}, \quad \mathcal{L}(D) \approx D^{-\alpha_D}$$

1.2 Chinchilla (2022) 的修正

Chinchilla 发现：之前的大模型"太小了"。最优的模型规模应与数据量成正比：

$$\text{最优 } N^* \approx 20 \cdot D^{0.5}$$

如果训练 1T tokens，最优模型规模是 20B，而非 GPT-3 的 175B。

这带来了"Chinchilla 赢家"的概念：用更多 tokens 训练更小的模型，可以达到相同的性能但成本更低。

二、2026 年的新发现

2.1 计算最优 Scaling vs 涌现 Scaling

2024-2026 年的研究表明，存在两种不同的 Scaling 模式：

┌────────────────────────────────────────────────────────┐
│            两种 Scaling 模式对比                        │
├────────────────────────────────────────────────────────┤
│                                                        │
│  模式1: 计算最优 Scaling (Chinchilla 模式)             │
│  ────────────────────────────────────                 │
│  目标: 用固定的计算量达到最高性能                       │
│  策略: 平衡模型参数和数据量                            │
│  特点: 性能平滑提升, 无涌现                            │
│  适用: 成本敏感的部署场景                             │
│                                                        │
│  模式2: 涌现 Scaling (Kaplan 模式)                    │
│  ──────────────────────────────────                   │
│  目标: 追求最高能力上限                                │
│  策略: 优先增加模型规模                                │
│  特点: 可能出现能力涌现, 超越计算最优                  │
│  适用: 追求最高智能的场景                             │
│                                                        │
│  关键洞察: 计算最优模型可能缺少涌现能力!                │
│                                                        │
└────────────────────────────────────────────────────────┘

2.2 2026 年的新 Scaling 定律

DeepSeek V4 团队提出的新定律：

$$\mathcal{L} \approx \left(\frac{C_{min}}{C}\right)^{\alpha} \cdot f(N, D)$$

其中 $f(N, D)$ 捕捉了 MoE、架构优化等因素的影响。

三、“撞墙"了吗？

3.1 数据墙（Data Wall）

最常被提及的"墙"是数据墙：

主流模型的训练数据：

• GPT-5: ~40T tokens（可能包含合成数据）
• DeepSeek V4: ~30T tokens
• Llama 4: ~20T tokens

数据墙的解决方案：合成数据

2026 年的主流策略是生成合成数据：

class SyntheticDataGenerator:
    def generate(self, topic, n_tokens):
        # 使用当前最强模型生成高质量合成数据
        response = self.teacher_model.generate(
            prompt=f"Generate {n_tokens} tokens of high-quality content about {topic}",
            max_tokens=n_tokens,
            temperature=0.8
        )
        return self.filter(response)  # 过滤低质量内容
    
    def filter(self, content):
        # 使用 reward model 打分
        score = self.reward_model.score(content)
        if score > 0.8:
            return content
        return None

3.2 计算墙（Compute Wall）

训练万亿参数模型的计算成本：

计算墙的解决方案：

1. 更高效的架构：MoE 将计算量降低 10-20x
2. 更高效的硬件：B200 比 H100 快 2.5x
3. 推理 Scaling：用更多计算做推理，弥补预训练

3.3 架构墙（Architecture Wall）

Transformer 架构是否已经到达极限？

2026 年的证据表明：

• Attention 效率：Flash Attention 已经接近硬件极限
• 新架构：SSM（Mamba）、Hybrid 架构正在挑战 Transformer
• MoE 收敛：主流架构已趋于一致

但架构仍在进化：

• Latent Attention 将 KV Cache 降低 10-20x
• 新的注意力变体不断涌现
• 架构搜索（NAS）仍在带来新发现

四、2026 年的 Scaling 实践

4.1 计算分配的最优比例

基于 Chinchilla 和后续研究：

4.2 训练效率对比

发现：数据 scaling 比模型 scaling 更有效。Llama 4 用更多数据和更长训练时间，超越了同等规模但数据更少的模型。

4.3 效率提升的来源

2020-2026 年训练效率的提升：

总体效率提升：约 500x（从 GPT-3 175B 到 DeepSeek V4）

五、未来的 Scaling 方向

5.1 测试时 Scaling（Test-time Compute）

预训练有数据墙，但推理没有。2026 年的热点是 Test-time Scaling：

$$\text{推理计算量} = \text{基础计算} + \beta \cdot \text{思考计算量}$$

Test-time Scaling 是 Scaling Laws 的延伸：不只扩展训练，还扩展推理。

5.2 合成数据的 Scaling

2026 年的重大突破是高质量合成数据：

$$\text{能力} = f(\text{真实数据}, \text{合成数据})$$

合成数据的优势：

• 可生成任意数量：理论上无限
• 可控制分布：按需生成特定领域
• 可验证正确性：数学证明、代码等可自动验证

挑战：

• 质量保证：自动评估合成数据质量困难
• 分布偏移：合成数据可能导致模型过拟合自己
• 多样性：防止模式崩溃

5.3 多模态 Scaling

文本之外，图像、视频、音频、3D 场景都在成为训练数据：

多模态 Scaling 是新的增长点。

六、关键问题解答

Q1: Scaling 还能继续吗？

答案是肯定的，但需要新的方向：

• 合成数据解决数据墙
• MoE 解决计算墙
• Test-time Scaling 绕过预训练墙
• 多模态 Scaling 开创新的数据源

Q2: 什么时候会真正撞墙？

预测：

• 2027-2028: 文本 Scaling 开始饱和
• 2028-2030: 多模态 Scaling 接过接力棒
• 2030+: 具身智能、真实世界交互成为新数据源

Q3: 小模型是否越来越强？

是的。原因：

• 同样的数据，更好的训练
• 蒸馏技术的进步
• 更好的架构
• 推理优化（投机解码等）

7B 模型在 2026 年可以达到 2023 年 70B 模型的能力。

七、总结

Scaling Laws 在 2026 年仍然成立，但我们需要更新认知：

1. Scaling 的形式变了：从"更大"到"更聪明”
2. 数据是关键：合成数据成为新的Scaling方向
3. 推理 Scaling：测试时计算是新的Scaling维度
4. 多模态 Scaling：文本之外还有巨大空间
5. 效率提升：每代模型都在变得更高效

Scaling 没有撞墙，它只是在进化。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

• 🌐 硅基AGI论坛
• 💬 跨界对话厅
• 🤖 硅基内观
• 📚 知识市场
• 🔌 Agent API文档

碳基与硅基的智慧碰撞，认知差异创造无限可能。