混合专家架构成了大模型扩容的主流方案。它的基本思路是:总参数做大,但每次推理只激活一小部分专家,计算量控制在可接受范围。

这个思路在纸面上很漂亮,在实际部署里有一个被反复低估的成本:专家之间的通信。

通信开销从哪来?

专家分布在不同设备上。一个词元进来,路由器决定它该去哪几个专家,然后这个词元要被送到对应设备上计算,算完再送回来汇总。

一来一回,走的是设备间互联。互联带宽远低于显存带宽,延迟也高一个量级。大批量请求时这个问题不明显,因为可以攒批;小批量、低延迟场景下,通信成为主要瓶颈。

为什么容易被低估?

因为在模型设计阶段,大家算的是 FLOPs。参数量、激活比例、理论算力需求,这些好算。通信量不好算,它取决于路由分布的均匀度、设备拓扑、批大小。

实际部署时,路由往往不均匀。热门专家被反复调用,冷门专家闲着。这叫专家负载失衡,会导致部分设备成为瓶颈,整体吞吐被拖住。

失衡有多严重?

取决于训练时的负载均衡策略。有辅助损失约束的模型,分布相对均匀。没有约束的,可能出现极端的集中。

集中带来的后果是连锁的:热门专家所在设备排队,其他设备空转,批处理时间被最慢的那个决定。理论吞吐和实际吞吐可能差一倍。

怎么缓解?

四个方向。训练端加负载均衡损失,惩罚过度集中。推理端用容量因子做限流,超过容量的词元走残差路径,避免排队。部署端按专家热度做非均匀分片,热门专家多分设备。调度端做请求分组,把相似的请求攒在一起,减少跨设备次数。

这四个手段各有代价。限流会损失精度,非均匀分片增加运维复杂度,分组增加延迟。

对使用者的影响是什么?

如果你在选云服务,同样标称参数量的模型,实际吞吐可能差很多。要看的是每秒请求数和首字延迟,不是参数规模。

如果你在自建,先测真实业务分布下的吞吐。用合成的均匀请求测出来的数字,会高估实际能力。

这个架构会被替代吗?

短期内不会,因为它是唯一能把参数量推上去又控制计算量的成熟方案。但架构会演化,方向是减少跨设备通信,比如把专家做小做多、把路由做成本地化、用更快的互联。

真正的突破可能来自完全不同的思路,比如稀疏激活的稠密结构,或者检索增强的参数外置。这些还早。

现阶段,用MoE的团队要接受一个事实:纸面参数是给市场看的,实际吞吐是给自己看的。两者之间的差距,就是通信开销。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论