MoE

MoE：用参数量换计算效率 MoE（Mixture of Experts）的核心思想很简单：不是所有参数都需要参与每次计算。通过路由机制，只激活与当前输入最相关的"专家"子网络，在保持大参数量的同时大幅降低计算量。 基本原理 稠密模型 vs 稀疏模型 传统稠密模型：每个token经过所有参数的计算。 输入token → [Attention] → [MLP(d, d_ff)] → 输出 所有参数参与计算 MoE模型：MLP层被替换为多个专家MLP，路由器选择激活哪些专家。 输入token → [Attention] → [Router] → 选择Top-K专家 ↓ [Expert1] [Expert2] ... [ExpertN] ↓ (仅K个被激活) 加权合并 → 输出 关键参数 专家数(N)：总专家数量。通常8-64个 激活数(K)：每个token激活的专家数。通常2-8个 稀疏率：1 - K/N。如8/64的配置，稀疏率为87.5% 以DeepSeek-V3为例：256个专家，每token激活8个，总参数671B但推理时只激活37B——等效于37B模型的计算量，但拥有671B参数的知识容量。 路由机制 基础路由 最简单的路由方式： def route(token, experts): # 计算token与每个专家的亲和度 scores = softmax(W_router @ token) # [N] # 选择Top-K个专家 top_k_indices = argsort(scores)[-K:] top_k_scores = scores[top_k_indices] # 归一化 top_k_scores /= top_k_scores.sum() # 加权合并 output = sum(experts[i](token) * top_k_scores[i] for i in top_k_indices) return output 负载均衡问题 基础路由有一个严重问题：路由坍缩。模型倾向于总是选择少数几个"好"专家，其他专家得不到训练。 ...

MoE：用稀疏激活突破密集模型的效率瓶颈 混合专家模型（Mixture of Experts）通过稀疏激活机制，让模型总参数量巨大但每次推理只激活一小部分。DeepSeek-V3的671B参数中每次只激活37B，Llama 4的500B+参数只激活30B——这就是MoE的效率魔法。 MoE的数学基础 标准MoE层 给定输入 $x$，MoE层的计算过程： $$y = \sum_{i=1}^{N} g_i(x) \cdot f_i(x)$$ 其中 $f_i$ 是第 $i$ 个专家（一个FFN），$g_i$ 是路由函数： $$g_i(x) = \text{softmax}(W_g \cdot x)_i$$ Top-K路由只保留 $K$ 个最大的 $g_i$，其余置零： $$g_i(x) = \begin{cases} \frac{\exp(W_g \cdot x)i}{\sum{j \in \text{TopK}} \exp(W_g \cdot x)_j} & i \in \text{TopK} \ 0 & \text{otherwise} \end{cases}$$ 专家容量因子 为防止所有token路由到同一专家（路由崩塌），每个专家有一个容量上限： $$\text{capacity} = \frac{T \cdot K}{N} \times \text{capacity_factor}$$ 其中 $T$ 是token数，$K$ 是Top-K，$N$ 是专家数。超出容量的token被丢弃或传递到下一层。 路由机制设计 标准Top-K路由 最简单的路由方式。每个token独立选择Top-K个专家： class TopKRouter(nn.Module): def __init__(self, dim, n_experts, top_k=2): self.gate = nn.Linear(dim, n_experts) self.top_k = top_k def forward(self, x): # x: [batch * seq_len, dim] logits = self.gate(x) scores = F.softmax(logits, dim=-1) # Top-K选择 topk_scores, topk_indices = scores.topk(self.top_k, dim=-1) topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) return topk_scores, topk_indices 专家选择路由 DeepSeek-V3使用了一种"专家选择"的反向路由：每个专家选择Top-K个token，而非token选择专家。这平衡了专家负载： ...

2017年"Attention Is All You Need"论文发表时，很少有人预料它会引发一场计算革命。从那以后，Transformer架构经历了无数变体和改进。站在2026年回望，这条演进路线图不仅有趣，更有助于理解未来可能的突破方向。 一、2017-2019：奠基时代 2017年6月：Transformer Google提出的原始Transformer用于机器翻译，核心创新： 自注意力机制：替代RNN的序列依赖，实现并行计算 多头注意力：多个注意力头捕捉不同子空间的信息 位置编码：正弦余弦函数编码位置信息 关键意义：打破了RNN的序列计算瓶颈，训练效率大幅提升。 2018年6月：GPT-1 OpenAI的第一个Generative Pre-trained Transformer： 仅使用Decoder（自回归生成） 无监督预训练 + 有监督微调 参数量：1.17亿 在多个NLP任务上达到SOTA 2018年10月：BERT Google的双向Encoder： Masked Language Model预训练 双向注意力（看上下文而非仅看前文） 刷新11项NLP任务纪录 GPT vs BERT的路线分歧奠定了未来格局：GPT走生成路线，BERT走理解路线。最终，生成路线在scaling中展现出更强的潜力。 2019年2月：GPT-2 参数量激增到15亿，展现了令人惊讶的零样本能力。“写一篇关于独角兽的文章"的输出质量震惊了业界。OpenAI initially以"太危险"为由分阶段发布——现在看来，这个"安全担忧"更像是营销策略。 二、2020-2022：Scaling时代 2020年5月：GPT-3 参数量跳跃到1750亿，few-shot能力涌现。不需要微调，仅靠prompt中的几个示例就能完成新任务。 关键洞察：Scaling Law——模型能力随参数量、数据量、计算量幂律增长。这一发现改变了整个领域的研究范式：从"设计更好的架构"转向"scale up现有架构”。 2021年：稀疏专家模型（MoE） Google的Switch Transformer将MoE引入Transformer： 每个token只激活部分专家网络 参数量增加但计算量不变 相同计算预算下性能更优 MoE在2021年还是"小众"技术，但到2025-2026年已成为主流大模型的标配。 2022年1月：InstructGPT RLHF（人类反馈强化学习）首次大规模应用： SFT + Reward Model + PPO 模型从"续写"进化为"遵循指令" 这一步是从GPT-3到ChatGPT的关键桥梁 2022年11月：ChatGPT 对话能力质变，AI走入大众视野。技术上的创新不算多（InstructGPT + 对话优化），但产品层面的影响是颠覆性的。 三、2023：架构创新爆发 2023年3月：GPT-4 多模态能力（图文输入），推理能力大幅提升。OpenAI开始走"闭源+API"路线，学术界开始寻找开源替代。 2023年7月：Llama 2 Meta开源Llama 2，商业可用。虽然性能不如GPT-4，但开源生态的繁荣由此开始。 2023年：关键架构创新 Grouped-Query Attention (GQA)： ...

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛

MoE的核心动机：解耦参数量与计算量 传统密集模型的参数量与计算量是线性绑定的——一个70B模型每次前向传播需要计算全部70B参数。MoE（Mixture of Experts）打破了这一绑定：通过路由机制只激活部分专家，使得总参数量可以远大于单次计算量。 DeepSeek-V3以671B总参数量实现了仅37B的激活计算量，在保持顶级性能的同时将推理成本降低了5-10倍。这是MoE在2026年成为超大模型首选架构的直接原因。 稀疏MoE的工作原理 基本结构 一个MoE层由三个核心组件构成： 路由器（Router/Gate）：一个小型线性层，输出每个token分配给各专家的概率 专家网络（Experts）：多个并行的FFN，每个专家是一个独立的FFN 组合层：根据路由概率加权组合各专家的输出 class MoELayer(nn.Module): def __init__(self, d_model, d_ff, n_experts, top_k=2): super().__init__() self.router = nn.Linear(d_model, n_experts, bias=False) self.experts = nn.ModuleList([ FFN(d_model, d_ff) for _ in range(n_experts) ]) self.top_k = top_k def forward(self, x): batch_size, seq_len, d_model = x.shape x_flat = x.view(-1, d_model) # 路由 router_logits = self.router(x_flat) # [N, n_experts] router_probs = F.softmax(router_logits, dim=-1) # Top-K选择 topk_probs, topk_indices = torch.topk(router_probs, self.top_k, dim=-1) topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True) # 分发到专家 output = torch.zeros_like(x_flat) for i in range(self.top_k): expert_indices = topk_indices[:, i] # [N] expert_weights = topk_probs[:, i] # [N] for expert_id in range(len(self.experts)): mask = (expert_indices == expert_id) if mask.any(): expert_input = x_flat[mask] expert_output = self.experts[expert_id](expert_input) output[mask] += expert_weights[mask].unsqueeze(-1) * expert_output return output.view(batch_size, seq_len, d_model) Top-K路由 每个token只被路由到K个专家（通常K=1或2）。这实现了计算量的稀疏化——在N=256个专家的情况下，每次只激活约0.8%的参数。 负载均衡：MoE的关键难题 如果不加约束，路由器会倾向于将大部分token分配给少数"优秀"专家，导致其他专家得不到训练。这就是负载不均衡问题。 辅助损失（Auxiliary Loss） GShard提出的经典方法，在训练损失中加入一项鼓励均匀分配的惩罚： L_aux = α * N * Σ(f_i * P_i) 其中 f_i 是分配给专家i的token比例，P_i 是路由器对专家i的平均概率。当分配均匀时 L_aux 最小。 ...

DeepSeek V4：成本效率的极致追求 2026年5月，中国AI创业公司DeepSeek发布V4大模型。最令人震撼的不是性能指标——虽然在大多数基准上接近GPT-6——而是训练成本：仅需约800万美元，是GPT-6训练成本的约1/10。 这是DeepSeek连续第二次在大模型成本效率上实现突破。V3在2024年底以约600万美元的训练成本达到当时GPT-4级别的性能；V4进一步将成本效率提升到新的高度。 性能表现 基准测试对比 基准测试 DeepSeek V4 GPT-6 Claude 5 差距 MMLU 91.2% 93.4% 91.8% -2.2% GSM8K 96.1% 97.3% 94.6% -1.2% MATH 80.3% 82.1% 76.8% -1.8% HumanEval 89.7% 91.2% 85.7% -1.5% BBH 89.1% 90.8% 87.6% -1.7% C-Eval (中文) 90.8% 87.5% 85.3% +3.3% MMMU (多模态) 74.8% 72.1% 68.4% +2.7% DeepSeek V4在英文基准上略逊于GPT-6约1-2个百分点，但在中文基准上反超。考虑到训练成本仅为GPT-6的1/10，这个性能水平堪称卓越。 推理效率 DeepSeek V4采用了MoE架构，总参数680B，激活参数仅52B： 指标 DeepSeek V4 GPT-6 优势 推理FLOPS 52B等效 约220B 4.2x效率 显存占用 104GB (FP16) 约440GB 4.2x节省 单卡吞吐量 2,400 tok/s (H100) 约800 tok/s 3x提升 成本/token $0.0008 $0.003 3.75x便宜 这种极致的成本效率，使得DeepSeek V4 API的定价可以做到GPT-6 API的1/5。 ...

Meta的开源野心：Llama 4来了 2026年6月，Meta正式发布Llama 4系列开源大模型。此次发布包含三个规格：Llama 4 Scout（67B）、Llama 4 Maverick（146B）和Llama 4 Behemoth（405B）。其中旗舰模型Behemoth采用混合专家架构，总参数405B，激活参数仅52B，在多项基准测试中已逼近GPT-5水平。 这是开源大模型社区的重大里程碑。Llama 4 Behemoth是迄今为止性能最强的完全开源模型，其权重、训练方法和评估结果全部公开。 架构详解 MoE架构设计 Llama 4全系采用MoE（Mixture of Experts）架构，这是Meta首次在大模型中使用MoE： # Llama 4 Behemoth MoE配置 llama4_config = { # 模型结构 "num_layers": 48, "hidden_size": 16384, "num_attention_heads": 128, "num_kv_heads": 16, # GQA "head_dim": 128, # MoE配置 "moe_layers": "all", # 所有层都使用MoE "num_experts": 64, "experts_per_token": 8, "router_type": "top_k_with_auxiliary_loss", "auxiliary_loss_weight": 0.01, # 总参数: 405B, 激活参数: 52B # 等效dense模型: ~120B # 上下文 "max_context_length": 524288, # 512K "rope_base": 500000, "rope_scaling": "dynamic", # 词表 "vocab_size": 256000, } 与Llama 3的Dense架构相比，Llama 4的MoE设计有几个关键特点： 全部层使用MoE：不同于某些MoE模型只在部分层使用专家路由，Llama 4在所有48层都使用MoE 64专家8激活：每token仅激活8个专家，计算量相当于一个52B的Dense模型 动态RoPE缩放：支持最高512K上下文窗口，且在推理时可以动态调整 注意力机制创新 Llama 4在注意力机制上做了两个重要改进： ...

引言 2026年，MoE（Mixture of Experts）架构已经成为大语言模型的主流选择。三大开源旗舰——DeepSeek V4、Qwen3.5和Llama 4——都采用了MoE架构，但实现方式各有不同。本文将深入对比这三者的MoE架构设计，分析其技术差异、性能表现和工程影响。 MoE架构基础 核心原理 MoE的核心思想是用稀疏激活替代稠密计算： 总参数量大：拥有大量"专家"参数 激活参数少：每次推理只使用少量专家 效果：大模型的知识容量 + 小模型的推理速度 MoE关键指标 指标 说明 影响 总参数量 所有专家参数之和 显存需求 激活参数 每次推理使用的参数 计算量/速度 专家数量 路由可选的专家总数 专业化程度 Top-K 每次选择的专家数 计算量/质量 共享专家 所有token都经过的专家 通用能力 负载均衡 各专家使用是否均匀 效率 三大MoE架构详解 DeepSeek V4：MLA + 细粒度MoE 架构参数： 参数 值 总参数量 671B 激活参数 37B 专家数量 256 Top-K 8 共享专家 4 注意力机制 MLA 2.0 上下文 256K 核心创新： 1. MLA 2.0（多头潜在注意力） DeepSeek V4的核心创新是MLA 2.0： 将KV Cache压缩到低维潜在空间 KV Cache大小减少65%（vs标准MHA） 长序列推理速度提升28% 信息损失比V1降低50% MLA 2.0的KV Cache对比： ...

引言 2026年1月，Meta发布了Llama 4系列——这是其旗舰开源模型的第四代。Llama 4系列首次引入了MoE（Mixture of Experts）架构，标志着Meta从Dense模型向稀疏模型的战略转变。作为全球影响力最大的开源大模型系列，Llama 4的表现备受期待。本文将对Llama 4全系列进行深度评测。 系列概览 Llama 4系列包含四个规格： 模型 总参数 激活参数 架构 上下文 许可证 Llama 4 405B 405B 45B MoE 256K Llama 4 Community License Llama 4 70B 70B 12B MoE 128K Llama 4 Community License Llama 4 8B 8B 2B Dense 128K Llama 4 Community License Llama 4 1B 1B 1B Dense 32K Llama 4 Community License 架构变化 Llama 4的主要架构创新： 1. MoE架构引入 405B和70B版本首次采用MoE架构，这是Meta在开源领域的重大突破： 405B：128个专家，每次激活8个，4个共享专家 70B：64个专家，每次激活4个，2个共享专家 路由策略：Top-K + 负载均衡损失 2. GQA升级 ...