MoE 混合专家模型选型指南：从 Mixtral 到 DeepSeek

传统 Dense 模型：
70B 参数 → 每次推理全部参与计算 → 70B 计算量

MoE 模型：
400B 总参数，每次激活 12B → 推理只需 12B 计算量
→ "拥有 400B 的能力，付出 12B 的成本"

输入 Token
    ↓
┌─────────────┐
│  Router/Gate │ → 决定激活哪几个专家
└──────┬──────┘
       │
   ┌───┼───┬───┐
   ↓   ↓   ↓   ↓
  E1  E2  E3 ... E64  （专家网络，每个是一个 FFN）
   │   │   │   │
   └───┴───┴───┘
       ↓
   加权合并输出

class MoELayer(nn.Module):
    def __init__(self, num_experts=8, top_k=2, d_model=4096):
        super().__init__()
        self.gate = nn.Linear(d_model, num_experts)
        self.experts = nn.ModuleList([
            FFN(d_model) for _ in range(num_experts)
        ])
        self.top_k = top_k
    
    def forward(self, x):
        # Gate 计算每个专家的权重
        gate_logits = self.gate(x)  # [batch, seq, num_experts]
        weights, indices = torch.topk(
            F.softmax(gate_logits, dim=-1), self.top_k
        )
        
        # 只激活 top-k 个专家
        output = torch.zeros_like(x)
        for i in range(self.top_k):
            expert_idx = indices[..., i]
            weight = weights[..., i]
            for b in range(x.size(0)):
                for s in range(x.size(1)):
                    expert = self.experts[expert_idx[b, s]]
                    output[b, s] += weight[b, s] * expert(x[b, s])
        
        return output

256 个路由专家（每个小）+ 1 个共享专家（处理通用知识）
每次激活：8 个路由专家 + 1 个共享专家

好处：
- 路由更灵活（细粒度）
- 通用知识不需要重复存储（共享专家）

# 传统方式：辅助损失（降低模型质量）
loss = task_loss + λ * auxiliary_loss

# DeepSeek 方式：动态偏置（不影响主损失）
gate_logits += bias  # bias 根据专家使用频率动态调整
loss = task_loss  # 纯净的主损失

传统：预测下一个 Token
DeepSeek V3：同时预测下 2 个 Token

收益：训练效率 +40%，推理时可放弃额外 Token 不影响质量

# DeepSeek-V3 INT4 量化部署（需要 8 张 A100 40G）
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-V3 \
  --quantization awq \
  --tensor-parallel-size 8 \
  --max-model-len 65536 \
  --gpu-memory-utilization 0.92

# 追求质量：GPT-5 > Claude 4 > DeepSeek-V3
# 追求性价比：DeepSeek-V3 API ($0.27/M token) vs GPT-4o ($2.5/M token)
# 中文场景：DeepSeek-V3（中文能力最强且便宜）

# 单卡消费级 GPU（24GB）
# 只能跑：Mixtral 8x7B INT4（勉强）

# 更实际的选择：Dense 小模型
# Qwen3-7B INT4 → 5GB 显存，效果不差太多

DeepSeek-V3:
- 总参数：671B → 需要 1.3TB 显存（FP16）
- 激活参数：37B → 实际计算只需 74GB
- 浪费率：94.5%

理想状态：每个专家处理 1/N 的 Token
实际情况：热门专家处理 30% 的 Token，冷门专家处理 <1%
→ GPU 利用率不均

单 GPU：无额外通信
多 GPU（Tensor Parallel）：每次 MoE 层需要 All-to-All 通信
8 GPU：通信开销占总延迟的 20-40%