据微软 AI 官方博客 10 月 15 日发布的 Frontier Pre-training at Microsoft AI（https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/ ），公司宣布完成新一代基础模型 MAI-Base-2 的预训练。这是一个 MoE 架构模型，总参数 2.8 万亿，每次前向激活 800 亿参数，8 月至 9 月在 1.6 万张 GB200 上训练了 38 天，运行期间平均 MFU 为 21%，goodput 也就是训练实际推进的时间占比为 89%。
官方给出的核心对比是，在留出评测集上，MAI-Base-2 的 BPB 低于所有测试过的开放权重模型，按 scaling law 折算，达到 DeepSeek-V4-Pro-Base 同等损失所需的 FLOPs 仅为后者的 1/4.2 到 1/12.3，即训练效率高出 4.2 到 12.3 倍。官方同时强调语料完全来自自有有机数据管道，不涉及从其他模型蒸馏，未来将通过 Foundry 向受信伙伴授权权重。目前 MAI-Base-2 正在后训练阶段，正式结果尚未公开。
2.8万亿参数但只激活800亿，这条路是怎么省下来的？
MoE 的基本逻辑是把庞大的参数拆成多个专家，每个 token 只调动少数专家计算，从而在不动总激活成本的前提下放大总参数规模。微软这版的工程重点不在专家数量，而在让 MoE 每一层都能跑起来，MAI-Base-1 时期因为路由实现的内存碎片和专家负载不均，只能隔层使用 MoE，MAI-Base-2 通过多轮 dropless MoE 把固定内存占用做死，再压缩每个专家的通信开销，MoE 层 MFU 从 24% 提到 35%，这才敢全层铺 MoE。
这组数字说明行业竞争焦点已经从堆参数转向单位算力效率，同样的训练预算下，谁能用更少 FLOPs 达到同等损失，谁就能把省下的算力拿去做更大的模型。微软公布的 4.2 到 12.3 倍效率差，本质是在回应开放模型阵营最常被拿来对比的 DeepSeek。
1.6万张GB200跑38天，效率数字背后的工程含量是多少？
38 天 1.6 万张卡意味着约 60 多万卡时的规模，真正难的是 89% 的 goodput，即绝大部分时间训练在正常推进而不是被故障、掉线、梯度同步卡住。超大规模集群里，单机故障和通信拥塞是常态，把推进率做到近九成，需要调度、容错和通信栈的深度打磨。MFU 21% 对 MoE 稀疏模型属于合理区间，官方还专门解释了它按 2.5 PFLOPS 的 BF16 理论峰值归一，排除了重计算和优化器的 FLOPs。
值得注意的是优化器选型，微软在最大模型上用 Muon 替代 AdamW，并为它改造了梯度分片的通信流程，Muon 只占单步迭代 2.1% 的时间，这是把新优化器上到 1.6 万卡规模的少见公开工程记录。
强调不蒸馏、用有机数据，在传递什么信号？
MAI-Base-2 反复强调训练语料是自有管道处理的有机数据，不蒸馏其他模型，这一点在当前行业里有明确针对性。开放模型被指责用旗舰模型输出训练，形成能力循环，而微软把数据来源作为卖点，是在为未来通过 Foundry 授权权重做合规铺垫，受信企业客户可以清晰追溯 token 来源。语料规模也从 MAI-Base-1 增长约 36%，VLM 语料 4.5T 唯一 token，占 50T token 训练混合物的 18%。
需要冷静的是，目前公布的只是预训练阶段的留出损失，不是面向用户的对话或编程能力榜，BPB 低不等于产品体验领先，后训练的对齐和工具调用能力要等正式发布才能验证。
这条新闻对国内模型团队有什么可借鉴的？
真正可借鉴的不是 2.8 万亿这个数字，而是效率叙事的结构，用 scaling ladder 预测规模、用模型与基础设施协同设计压 goodput、用 dropless MoE 解决内存碎片，这些都是任何规模团队可以局部落地的工程方法。对从业者来说，与其追逐参数头条，不如跟踪它后训练结果发布后，效率优势是否能转化为真实评测上的领先，那才是这条技术路线是否成立的最终检验。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论