Scaling Law：规则还是错觉？

2020年OpenAI发表Scaling Law论文，揭示了一个惊人的规律：模型能力随参数量、数据量、计算量的幂律增长而可预测地提升。这个发现驱动了过去六年大模型的爆发式发展。但2026年，Scaling Law正在减速——这意味着什么？

经典Scaling Law

三个维度

L(N, D, C) = 常数 × (N/N₀)^(-α_N) × (D/D₀)^(-α_D) × ...
  • N: 模型参数量
  • D: 训练数据量（tokens）
  • C: 计算量（FLOPs）

经验值：

  • α_N ≈ 0.076（参数缩放指数）
  • α_D ≈ 0.095（数据缩放指数）
  • α_C ≈ 0.057（计算缩放指数）

关键洞察

  1. 可预测性：给定计算预算，可以预测模型loss
  2. 最优分配：给定计算量C，存在最优的N和D分配
  3. 没有饱和：在测试范围内，能力随规模持续提升

Chinchilla修正

DeepMind的Chinchilla论文修正了原始Scaling Law：

  • 之前模型训练数据不足（过度参数化）
  • 最优训练：每个参数约20个token
  • 70B模型应该用1.4万亿token训练

减速信号

信号1：边际收益递减

模型规模增长10倍 → loss下降约0.05
模型规模再增长10倍 → loss下降约0.04
模型规模再增长10倍 → loss下降约0.03

（幂律仍在，但绝对增量越来越小）

信号2：数据墙

高质量训练数据正在枯竭：

  • 互联网高质量文本约10万亿token
  • 2024年训练的模型已用5-10万亿
  • 2026年接近数据上限
  • 低质量数据加入反而可能降低性能

信号3：成本爆炸

训练万亿参数模型：

  • 计算量约10^25 FLOPs
  • 需要约10万张H100运行数月
  • 单次训练成本超过1亿美元
  • 投资回报率递减

信号4：benchmark天花板

在MMLU、HumanEval等基准上：

  • 2023年最佳：70-75%
  • 2024年最佳：80-85%
  • 2025年最佳：85-88%
  • 2026年最佳：87-89%

提升速度明显放缓。

新范式探索

方向一：测试时计算（Test-Time Compute）

不再通过训练更大模型提升能力，而是在推理时投入更多计算：

思维链推理：

  • 模型在回答前做大量"思考"（生成更多推理token）
  • 用更多推理计算换取更高质量
  • o系列模型的核心思路

自我修正：

  • 生成多个候选答案
  • 交叉验证和自我审查
  • 投票选最佳

效果对比：

70B模型 + 标准推理: MMLU 78%
70B模型 + CoT推理: MMLU 82%
70B模型 + 多次验证: MMLU 85%
300B模型 + 标准推理: MMLU 84%

70B模型通过测试时计算可以达到300B模型的效果。

方向二：强化学习驱动

从模仿到探索：

  • SFT是模仿学习（学习人类输出）
  • RL是探索学习（发现更好的策略）
  • 数学推理和代码领域，RL效果显著

过程奖励模型（PRM）：

  • 对推理过程每一步打分
  • 引导模型做正确的推理
  • 比只看最终结果的ORM更有效

方向三：架构创新

MoE规模化：

  • 稀疏激活让总参数量不受计算量限制
  • DeepSeek-V3: 671B总参数，37B激活
  • 未来可能万亿参数但百亿激活

SSM/线性注意力：

  • 突破注意力的O(n²)限制
  • 线性复杂度处理超长序列
  • 在某些任务上接近Transformer

神经符号融合：

  • LLM负责感知和语言
  • 符号引擎负责逻辑推理
  • 互补各自弱点

方向四：合成数据

知识合成：

  • 用LLM生成教科书式知识
  • 比网页爬取质量更高
  • 可控的领域覆盖

推理轨迹合成：

  • 生成带CoT的推理数据
  • 教会模型"怎么思考"而非"答案是什么"
  • 推理能力可迁移

对抗性数据：

  • 生成模型容易犯错的case
  • 补充训练数据中的薄弱区域
  • 针对性增强

方向五：多模态Scaling

文本Scaling减速，但多模态还有大量空间：

  • 视频数据量远超文本
  • 多模态理解能力仍有巨大提升空间
  • 视觉推理是新的Scaling维度

对AGI的影响

乐观观点

  • Scaling Law没有终结，只是换形式
  • 测试时计算是新的Scaling维度
  • 架构创新可能带来新的Scaling Law
  • 多模态+RL+推理的复合提升

悲观观点

  • 文本能力已接近天花板
  • 推理计算的成本回报也在递减
  • 没有真正的"智能涌现"，只有统计模式
  • AGI比预期更远

务实观点

  • 单纯堆参数的时代结束
  • 下一个突破来自"架构+数据+RL"的组合
  • 能力提升速度放缓但不停止
  • 应用落地比追求AGI更重要

总结

Scaling Law没有"终结"，而是在演化。从单纯的参数堆叠到测试时计算、从模仿学习到强化学习、从文本到多模态——AI的进步方式正在多元化。这对行业是好事：不再是谁有最多GPU谁赢，而是谁能在多个维度做创新谁赢。2026年可能是AI发展从"暴力美学"走向"精细工程"的转折点。