稀疏

1. MoE 的核心思想 Mixture-of-Experts（MoE）的核心：条件计算。不是让所有参数都参与每个 Token 的计算，而是为每个 Token 选择少量"专家"子网络来处理。 以 Mixtral 8×7B 为例：总参数 46.7B，但每个 Token 只激活 12.9B。用接近 13B 模型的计算量获得接近 47B 模型的性能。 2. MoE 架构 2.1 基本结构 MoE 替换 Transformer FFN 层： 标准 FFN: x → W2·σ(W1·x) → output MoE FFN: x → Router(x) → 选择 Top-K 专家 → 分别计算 → 加权求和 → output 2.2 路由器（Router/Gate） 路由器是一个小型线性层 + softmax： $$ G(x) = \text{softmax}(W_g x) $$ 其中 $W_g \in \mathbb{R}^{N \times d}$，$N$ 是专家数量。 ...