MoE的核心动机：解耦参数量与计算量

传统密集模型的参数量与计算量是线性绑定的——一个70B模型每次前向传播需要计算全部70B参数。MoE（Mixture of Experts）打破了这一绑定：通过路由机制只激活部分专家，使得总参数量可以远大于单次计算量。

DeepSeek-V3以671B总参数量实现了仅37B的激活计算量，在保持顶级性能的同时将推理成本降低了5-10倍。这是MoE在2026年成为超大模型首选架构的直接原因。

稀疏MoE的工作原理

基本结构

一个MoE层由三个核心组件构成：

  1. 路由器（Router/Gate）：一个小型线性层，输出每个token分配给各专家的概率
  2. 专家网络（Experts）：多个并行的FFN，每个专家是一个独立的FFN
  3. 组合层：根据路由概率加权组合各专家的输出
class MoELayer(nn.Module):
    def __init__(self, d_model, d_ff, n_experts, top_k=2):
        super().__init__()
        self.router = nn.Linear(d_model, n_experts, bias=False)
        self.experts = nn.ModuleList([
            FFN(d_model, d_ff) for _ in range(n_experts)
        ])
        self.top_k = top_k
    
    def forward(self, x):
        batch_size, seq_len, d_model = x.shape
        x_flat = x.view(-1, d_model)
        
        # 路由
        router_logits = self.router(x_flat)  # [N, n_experts]
        router_probs = F.softmax(router_logits, dim=-1)
        
        # Top-K选择
        topk_probs, topk_indices = torch.topk(router_probs, self.top_k, dim=-1)
        topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True)
        
        # 分发到专家
        output = torch.zeros_like(x_flat)
        for i in range(self.top_k):
            expert_indices = topk_indices[:, i]  # [N]
            expert_weights = topk_probs[:, i]    # [N]
            for expert_id in range(len(self.experts)):
                mask = (expert_indices == expert_id)
                if mask.any():
                    expert_input = x_flat[mask]
                    expert_output = self.experts[expert_id](expert_input)
                    output[mask] += expert_weights[mask].unsqueeze(-1) * expert_output
        
        return output.view(batch_size, seq_len, d_model)

Top-K路由

每个token只被路由到K个专家（通常K=1或2）。这实现了计算量的稀疏化——在N=256个专家的情况下，每次只激活约0.8%的参数。

负载均衡：MoE的关键难题

如果不加约束，路由器会倾向于将大部分token分配给少数"优秀"专家，导致其他专家得不到训练。这就是负载不均衡问题。

辅助损失（Auxiliary Loss）

GShard提出的经典方法，在训练损失中加入一项鼓励均匀分配的惩罚：

L_aux = α * N * Σ(f_i * P_i)

其中 f_i 是分配给专家i的token比例，P_i 是路由器对专家i的平均概率。当分配均匀时 L_aux 最小。

容量因子（Capacity Factor）

为每个专家设置一个处理token数量的上限，超出上限的token被丢弃或传递给下一层。容量因子控制这个上限相对于均匀分配的倍数。

专家选择路由（Expert Choice）

反转路由方向——由专家选择token而非token选择专家。这天然保证了负载均衡，但可能破坏因果性（未来token影响当前路由决策）。

DeepSeek的辅助损失无关策略

DeepSeek-V3采用了一种创新方法：为每个专家引入一个偏置项（bias），在路由时加到路由分数上。训练过程中动态调整bias——被选多的专家降低bias，被选少的专家提高bias。这种方法不产生额外梯度，且比辅助损失更有效。

专家的细分与共享

细粒度专家分割

传统MoE使用少量大专家（如8-16个），而细粒度方法使用大量小专家（如64-256个）。DeepSeek-V3采用256个路由专家+1个共享专家：

  • 路由专家：每个token选择Top-8个路由专家
  • 共享专家：所有token都经过的公共专家，捕捉通用知识
class FineGrainedMoE(nn.Module):
    def __init__(self, d_model, d_ff, n_routed=256, n_shared=1, top_k=8):
        super().__init__()
        self.router = nn.Linear(d_model, n_routed, bias=False)
        self.routed_experts = nn.ModuleList([FFN(d_model, d_ff//4) for _ in range(n_routed)])
        self.shared_experts = nn.ModuleList([FFN(d_model, d_ff//4) for _ in range(n_shared)])
        self.top_k = top_k
    
    def forward(self, x):
        # 共享专家：所有token都经过
        shared_output = sum(expert(x) for expert in self.shared_experts)
        
        # 路由专家：Top-K选择
        router_logits = self.router(x)
        topk_probs, topk_indices = torch.topk(
            F.softmax(router_logits, dim=-1), self.top_k, dim=-1
        )
        routed_output = dispatch_and_combine(x, topk_indices, topk_probs, self.routed_experts)
        
        return shared_output + routed_output

细粒度专家的优势在于更灵活的知识组合——256个细专家的组合空间远大于8个粗专家。

序列级辅助损失

传统辅助损失在token级别计算负载均衡，但不同序列的token分布差异很大。序列级辅助损失确保每条序列内的专家分配都相对均匀，避免某些序列过度依赖特定专家。

MoE的训练挑战

通信开销

在分布式训练中，不同专家分布在不同GPU上。每个token需要被发送到其目标专家所在的GPU，计算后再取回。这种All-to-All通信是MoE训练的主要瓶颈。

优化策略包括：

  • 专家并行：每个GPU持有一组专家
  • Token重排：先按目标专家分组，批量发送
  • 通信-计算重叠：在发送下一批token的同时计算当前批

训练不稳定性

MoE的路由决策是离散的（Top-K选择），这引入了训练不稳定性。常见的缓解措施：

  • 使用较小的学习率
  • 对路由器使用Z-Loss稳定softmax
  • 在路由前对输入做LayerNorm

知识遗忘

新专家可能在训练初期"抢占"已有专家的知识。解决方案包括：

  • 渐进式添加新专家
  • 对已有专家使用较小的学习率
  • 冻结部分专家参数

2026年MoE前沿趋势

多级MoE

在模型的不同层使用不同粒度的MoE：浅层使用少量粗专家（捕捉通用模式），深层使用大量细专家（捕捉专业知识）。

动态专家数量

根据输入复杂度动态调整激活专家数量——简单输入用1-2个专家，复杂输入用更多。这类似于人类大脑的按需激活机制。

跨模态专家

不同模态（文本、图像、音频）使用不同的专家池，路由器根据模态自动选择。这在多模态大模型中越来越流行。

专家蒸馏

将大MoE模型蒸馏为小密集模型，在保持性能的同时简化部署。这种"训练用MoE、推理用密集"的范式正在被越来越多团队采用。

结语

MoE是当前AGI架构中最有前途的方向之一。它让我们能在有限的计算预算下训练和部署超大模型，同时保持出色的性能。随着负载均衡、通信优化和专家设计的不停进步，MoE的潜力还远未被完全释放。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞，认知差异创造无限可能。