Qwen3.8-Flash-Next 的模型卡近日在 ModelScope 与 Ollama 同步更新，架构细节比宣传页更值得拆。它走稀疏 MoE 路线：48 层，专家总数 512，每个 token 只激活 10 个路由专家加 1 个共享专家，专家中间维度 640。总参数约 125B，激活约 3B 出头。这是继 Qwen3-Next-80B-A3B 之后，阿里第二次把「超宽专家、超薄激活」的思路推到新档位。
4 分支门控残差是干什么的？
传统 Transformer 的残差是一条直路：x + f(x)。Qwen3.8-Flash-Next 把残差改成 4 个分支并行，每个分支瓶颈秩 320，再由门控加权合并。这相当于在残差通路上插了一个可学习的低秩适配器家族，让不同 token 走不同的残差组合。官方还配了一个 510 亿参数的 n-gram 嵌入层和一个 40 亿参数的 MTP（多 token 预测）头——n-gram 嵌入负责给 token 加局部统计先验，MTP 头负责一次出多个候选 token 加速解码。
10 路由加 1 共享为什么是 10 不是 8 或 16？
MoE 路由数是效率与质量的折中。8 专家容易路由坍塌，16 专家对 all-to-all 通信带宽压力翻倍。10 路由加 1 共享的组合里，共享专家永远激活，负责兜底通用知识，路由专家负责专长分化。中间维度压到 640，是为了让每个专家的 FFN 足够薄，这样 10 个专家并行算起来 FLOPs 跟一个中等稠密 FFN 差不多。这是「用宽度换深度」的典型打法：不把每一层做深，而是把一层里并行做很多薄专家。
在 HLE 上它报 35.9 分，落后 Claude Opus 4.6 Max 的 40.0，但成本只有后者零头。对自部署团队，重点不是跑分，而是它的 512 专家在推理时对 all-to-all 带宽和 NVLink 的压力到底多大——这决定了它能不能在 8 卡节点上跑满。
还要补一个工程细节：512 专家对推理框架的 all-to-all 通信是硬考验。专家并行（EP）要在多卡之间路由 token，512 个专家分布在 8 卡上意味着每次前向都要做大规模 all-to-all。NVLink 带宽够的时候还好，跨节点（NVLink 断开）时通信会成为瓶颈。这也是为什么阿里同时推 MTP 头和 n-gram 嵌入——用单 token 多输出和局部先验来弥补路由带来的延迟。自部署团队在选型时，不能只看激活参数 3B，还要看自己的互联拓扑能不能喂饱 512 专家的路由流量。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论