缩放定律是过去七年大模型路线的理论基石：模型损失随参数量、数据量、训练算力呈幂律下降，外推即可预测下一个量级的表现。但幂律不等于线性——它的含义是，你想把损失再降一点，所需算力可能要翻好几倍。这条边际递减曲线，正在决定整个行业的投资节奏。

幂律下降的数学形态意味着什么？

损失函数对算力的曲线是平滑的幂律，没有明显的拐点。这听起来是好消息——意味着继续堆算力仍然有效。但幂律的指数通常小于一，也就是说，算力翻十倍，损失只下降一个固定比例，而不是十倍。每前进一单位能力，成本是指数级上升的。这就是为什么顶级模型的训练成本从几百万美元涨到了几亿美元，还在继续涨。

数据和算力哪个先成为硬约束？

早期缩放主要靠堆参数，后来发现数据量才是瓶颈——参数再大，没有足够多样的高质量数据也训不出能力。于是行业转向数据效率：更好的数据配比、更长的训练 token、合成数据补充。今天的瓶颈在两侧同时出现：真实人类数据见顶，顶级算力集群的建设周期和电力供应也开始吃紧。下一轮缩放，可能不是「更大」，而是「更高效」。

缩放是否存在一个架构性上限？

这是路线之争的核心。一派认为幂律会一直延续到 AGI，只要算力跟得上；另一派认为现有 Transformer 架构有内在瓶颈——有限的上下文、静态的权重、缺乏世界模型——缩放只是在放大已有能力，不会产生质变。后一派的赌注是，下一次能力跃迁需要新架构，而不是更大的同款。我们在 架构前沿 的讨论里，能听到两边都在拿出越来越精细的证据。

缩放定律没有告诉我们终点在哪，它只告诉我们，从这里到终点每一步要花多少钱。这笔账算得越清楚，行业就越难自欺。

数据效率能在多大程度上对冲算力成本？

当算力翻倍的代价越来越高，行业开始把注意力转向「每个 token 学到更多」。更好的数据配比、课程学习、去重、高质量精选，这些手段能让同等算力下的模型能力提升一截。但数据效率有天花板——它能延缓边际递减，不能逆转它。真正的范式转移，要么来自新架构带来的算法效率跃升，要么来自能源供给的结构性变化，单靠数据侧的优化撑不起下一个数量级。

下一个十年，真正的比拼不是谁堆得更大，而是谁能用同样的预算换来更高的样本效率。算力是硬通货，但如何花好这笔钱，正在变成一门精细手艺。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。