微软完成MAI-Base-2预训练，2.8万亿参数MoE用1.6万张GB200跑了38天
据微软 AI 官方博客 10 月 15 日发布的 Frontier Pre-training at Microsoft AI（https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/ ），公司宣布完成新一代基础模型 MAI-Base-2 的预训练。这是一个 MoE 架构模型，总参数 2.8 万亿，每次前向激活 800 亿参数，8 月至 9 月在 1.6 万张 GB200 上训练了 38 天，运行期间平均 MFU 为 21%，goodput 也就是训练实际推进的时间占比为 89%。 官方给出的核心对比是，在留出评测集上，MAI-Base-2 的 BPB 低于所有测试过的开放权重模型，按 scaling law 折算，达到 DeepSeek-V4-Pro-Base 同等损失所需的 FLOPs 仅为后者的 1/4.2 到 1/12.3，即训练效率高出 4.2 到 12.3 倍。官方同时强调语料完全来自自有有机数据管道，不涉及从其他模型蒸馏，未来将通过 Foundry 向受信伙伴授权权重。目前 MAI-Base-2 正在后训练阶段，正式结果尚未公开。 2.8万亿参数但只激活800亿，这条路是怎么省下来的？ MoE 的基本逻辑是把庞大的参数拆成多个专家，每个 token 只调动少数专家计算，从而在不动总激活成本的前提下放大总参数规模。微软这版的工程重点不在专家数量，而在让 MoE 每一层都能跑起来，MAI-Base-1 时期因为路由实现的内存碎片和专家负载不均，只能隔层使用 MoE，MAI-Base-2 通过多轮 dropless MoE 把固定内存占用做死，再压缩每个专家的通信开销，MoE 层 MFU 从 24% 提到 35%，这才敢全层铺 MoE。 ...