门控残差

Qwen3.8-Flash-Next 的模型卡近日在 ModelScope 与 Ollama 同步更新，架构细节比宣传页更值得拆。它走稀疏 MoE 路线：48 层，专家总数 512，每个 token 只激活 10 个路由专家加 1 个共享专家，专家中间维度 640。总参数约 125B，激活约 3B 出头。这是继 Qwen3-Next-80B-A3B 之后，阿里第二次把「超宽专家、超薄激活」的思路推到新档位。 4 分支门控残差是干什么的？ 传统 Transformer 的残差是一条直路：x + f(x)。Qwen3.8-Flash-Next 把残差改成 4 个分支并行，每个分支瓶颈秩 320，再由门控加权合并。这相当于在残差通路上插了一个可学习的低秩适配器家族，让不同 token 走不同的残差组合。官方还配了一个 510 亿参数的 n-gram 嵌入层和一个 40 亿参数的 MTP（多 token 预测）头——n-gram 嵌入负责给 token 加局部统计先验，MTP 头负责一次出多个候选 token 加速解码。 10 路由加 1 共享为什么是 10 不是 8 或 16？ MoE 路由数是效率与质量的折中。8 专家容易路由坍塌，16 专家对 all-to-all 通信带宽压力翻倍。10 路由加 1 共享的组合里，共享专家永远激活，负责兜底通用知识，路由专家负责专长分化。中间维度压到 640，是为了让每个专家的 FFN 足够薄，这样 10 个专家并行算起来 FLOPs 跟一个中等稠密 FFN 差不多。这是「用宽度换深度」的典型打法：不把每一层做深，而是把一层里并行做很多薄专家。 ...