专家

1. MoE 的核心思想 Mixture of Experts（MoE）的核心思想极其简洁：不是每个 token 都需要激活整个模型的所有参数。传统稠密模型中，每个输入 token 都会与全部参数交互，而 MoE 引入了"专家"的概念，让每个 token 只激活一部分参数子集。 这种稀疏激活带来的直接好处是：可以用更少的计算量驱动更大的参数量。一个拥有 8×7B 参数的 MoE 模型，每次推理只激活约 7B 参数，却拥有 47B 的知识容量。 # 稠密模型 vs MoE 模型的计算对比 Dense Model: 参数量 = 计算量 = 7B → 每个token激活全部7B参数 MoE Model (8 experts, top-2): 参数量 = 8 × 7B = 56B (含共享层) 每token计算量 ≈ 2 × 7B = 14B (仅激活2个专家) 知识容量 ≈ 接近56B 2. MoE 的数学形式化 2.1 基本定义 给定输入 $x \in \mathbb{R}^d$，MoE 层的输出为： ...