MoE

MoE的核心动机：解耦参数量与计算量 传统密集模型的参数量与计算量是线性绑定的——一个70B模型每次前向传播需要计算全部70B参数。MoE（Mixture of Experts）打破了这一绑定：通过路由机制只激活部分专家，使得总参数量可以远大于单次计算量。 DeepSeek-V3以671B总参数量实现了仅37B的激活计算量，在保持顶级性能的同时将推理成本降低了5-10倍。这是MoE在2026年成为超大模型首选架构的直接原因。 稀疏MoE的工作原理 基本结构 一个MoE层由三个核心组件构成： 路由器（Router/Gate）：一个小型线性层，输出每个token分配给各专家的概率 专家网络（Experts）：多个并行的FFN，每个专家是一个独立的FFN 组合层：根据路由概率加权组合各专家的输出 class MoELayer(nn.Module): def __init__(self, d_model, d_ff, n_experts, top_k=2): super().__init__() self.router = nn.Linear(d_model, n_experts, bias=False) self.experts = nn.ModuleList([ FFN(d_model, d_ff) for _ in range(n_experts) ]) self.top_k = top_k def forward(self, x): batch_size, seq_len, d_model = x.shape x_flat = x.view(-1, d_model) # 路由 router_logits = self.router(x_flat) # [N, n_experts] router_probs = F.softmax(router_logits, dim=-1) # Top-K选择 topk_probs, topk_indices = torch.topk(router_probs, self.top_k, dim=-1) topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True) # 分发到专家 output = torch.zeros_like(x_flat) for i in range(self.top_k): expert_indices = topk_indices[:, i] # [N] expert_weights = topk_probs[:, i] # [N] for expert_id in range(len(self.experts)): mask = (expert_indices == expert_id) if mask.any(): expert_input = x_flat[mask] expert_output = self.experts[expert_id](expert_input) output[mask] += expert_weights[mask].unsqueeze(-1) * expert_output return output.view(batch_size, seq_len, d_model) Top-K路由 每个token只被路由到K个专家（通常K=1或2）。这实现了计算量的稀疏化——在N=256个专家的情况下，每次只激活约0.8%的参数。 负载均衡：MoE的关键难题 如果不加约束，路由器会倾向于将大部分token分配给少数"优秀"专家，导致其他专家得不到训练。这就是负载不均衡问题。 辅助损失（Auxiliary Loss） GShard提出的经典方法，在训练损失中加入一项鼓励均匀分配的惩罚： L_aux = α * N * Σ(f_i * P_i) 其中 f_i 是分配给专家i的token比例，P_i 是路由器对专家i的平均概率。当分配均匀时 L_aux 最小。 ...

DeepSeek V4：成本效率的极致追求 2026年5月，中国AI创业公司DeepSeek发布V4大模型。最令人震撼的不是性能指标——虽然在大多数基准上接近GPT-6——而是训练成本：仅需约800万美元，是GPT-6训练成本的约1/10。 这是DeepSeek连续第二次在大模型成本效率上实现突破。V3在2024年底以约600万美元的训练成本达到当时GPT-4级别的性能；V4进一步将成本效率提升到新的高度。 性能表现 基准测试对比 基准测试 DeepSeek V4 GPT-6 Claude 5 差距 MMLU 91.2% 93.4% 91.8% -2.2% GSM8K 96.1% 97.3% 94.6% -1.2% MATH 80.3% 82.1% 76.8% -1.8% HumanEval 89.7% 91.2% 85.7% -1.5% BBH 89.1% 90.8% 87.6% -1.7% C-Eval (中文) 90.8% 87.5% 85.3% +3.3% MMMU (多模态) 74.8% 72.1% 68.4% +2.7% DeepSeek V4在英文基准上略逊于GPT-6约1-2个百分点，但在中文基准上反超。考虑到训练成本仅为GPT-6的1/10，这个性能水平堪称卓越。 推理效率 DeepSeek V4采用了MoE架构，总参数680B，激活参数仅52B： 指标 DeepSeek V4 GPT-6 优势 推理FLOPS 52B等效 约220B 4.2x效率 显存占用 104GB (FP16) 约440GB 4.2x节省 单卡吞吐量 2,400 tok/s (H100) 约800 tok/s 3x提升 成本/token $0.0008 $0.003 3.75x便宜 这种极致的成本效率，使得DeepSeek V4 API的定价可以做到GPT-6 API的1/5。 ...

Meta的开源野心：Llama 4来了 2026年6月，Meta正式发布Llama 4系列开源大模型。此次发布包含三个规格：Llama 4 Scout（67B）、Llama 4 Maverick（146B）和Llama 4 Behemoth（405B）。其中旗舰模型Behemoth采用混合专家架构，总参数405B，激活参数仅52B，在多项基准测试中已逼近GPT-5水平。 这是开源大模型社区的重大里程碑。Llama 4 Behemoth是迄今为止性能最强的完全开源模型，其权重、训练方法和评估结果全部公开。 架构详解 MoE架构设计 Llama 4全系采用MoE（Mixture of Experts）架构，这是Meta首次在大模型中使用MoE： # Llama 4 Behemoth MoE配置 llama4_config = { # 模型结构 "num_layers": 48, "hidden_size": 16384, "num_attention_heads": 128, "num_kv_heads": 16, # GQA "head_dim": 128, # MoE配置 "moe_layers": "all", # 所有层都使用MoE "num_experts": 64, "experts_per_token": 8, "router_type": "top_k_with_auxiliary_loss", "auxiliary_loss_weight": 0.01, # 总参数: 405B, 激活参数: 52B # 等效dense模型: ~120B # 上下文 "max_context_length": 524288, # 512K "rope_base": 500000, "rope_scaling": "dynamic", # 词表 "vocab_size": 256000, } 与Llama 3的Dense架构相比，Llama 4的MoE设计有几个关键特点： 全部层使用MoE：不同于某些MoE模型只在部分层使用专家路由，Llama 4在所有48层都使用MoE 64专家8激活：每token仅激活8个专家，计算量相当于一个52B的Dense模型 动态RoPE缩放：支持最高512K上下文窗口，且在推理时可以动态调整 注意力机制创新 Llama 4在注意力机制上做了两个重要改进： ...

引言 2026年，MoE（Mixture of Experts）架构已经成为大语言模型的主流选择。三大开源旗舰——DeepSeek V4、Qwen3.5和Llama 4——都采用了MoE架构，但实现方式各有不同。本文将深入对比这三者的MoE架构设计，分析其技术差异、性能表现和工程影响。 MoE架构基础 核心原理 MoE的核心思想是用稀疏激活替代稠密计算： 总参数量大：拥有大量"专家"参数 激活参数少：每次推理只使用少量专家 效果：大模型的知识容量 + 小模型的推理速度 MoE关键指标 指标 说明 影响 总参数量 所有专家参数之和 显存需求 激活参数 每次推理使用的参数 计算量/速度 专家数量 路由可选的专家总数 专业化程度 Top-K 每次选择的专家数 计算量/质量 共享专家 所有token都经过的专家 通用能力 负载均衡 各专家使用是否均匀 效率 三大MoE架构详解 DeepSeek V4：MLA + 细粒度MoE 架构参数： 参数 值 总参数量 671B 激活参数 37B 专家数量 256 Top-K 8 共享专家 4 注意力机制 MLA 2.0 上下文 256K 核心创新： 1. MLA 2.0（多头潜在注意力） DeepSeek V4的核心创新是MLA 2.0： 将KV Cache压缩到低维潜在空间 KV Cache大小减少65%（vs标准MHA） 长序列推理速度提升28% 信息损失比V1降低50% MLA 2.0的KV Cache对比： ...

引言 2026年1月，Meta发布了Llama 4系列——这是其旗舰开源模型的第四代。Llama 4系列首次引入了MoE（Mixture of Experts）架构，标志着Meta从Dense模型向稀疏模型的战略转变。作为全球影响力最大的开源大模型系列，Llama 4的表现备受期待。本文将对Llama 4全系列进行深度评测。 系列概览 Llama 4系列包含四个规格： 模型 总参数 激活参数 架构 上下文 许可证 Llama 4 405B 405B 45B MoE 256K Llama 4 Community License Llama 4 70B 70B 12B MoE 128K Llama 4 Community License Llama 4 8B 8B 2B Dense 128K Llama 4 Community License Llama 4 1B 1B 1B Dense 32K Llama 4 Community License 架构变化 Llama 4的主要架构创新： 1. MoE架构引入 405B和70B版本首次采用MoE架构，这是Meta在开源领域的重大突破： 405B：128个专家，每次激活8个，4个共享专家 70B：64个专家，每次激活4个，2个共享专家 路由策略：Top-K + 负载均衡损失 2. GQA升级 ...

引言 2026年2月，DeepSeek发布了V4系列模型，延续了一贯的"高性能+极致性价比"策略。作为2025年轰动全球的DeepSeek V3的继任者，V4在架构创新、推理能力和多语言理解上都有重大突破。本文将从多个维度对DeepSeek V4进行全面评测，深入分析这款代表国产大模型最高水准的作品。 模型架构与规格 核心架构 DeepSeek V4采用了全新的MoE（Mixture of Experts）架构： 参数 DeepSeek V4 DeepSeek V3 总参数量 671B 671B 激活参数 37B 37B 专家数量 256 256 共享专家 4 2 上下文窗口 256K tokens 128K tokens 最大输出 16K tokens 8K tokens 知识截止 2026年1月 2025年7月 V4保持了与V3相同的总参数量和激活参数，但通过架构优化实现了更强的能力。这种"参数不变、能力提升"的策略体现了DeepSeek在训练效率上的持续进步。 MLA 2.0 V4引入了升级版的多头潜在注意力（MLA 2.0）： KV缓存压缩：比V3进一步减少35%的KV缓存大小 长序列效率：在256K上下文下推理速度提升28% 质量保持：信息损失比V3降低50% 推理模式 DeepSeek V4提供三种推理模式： Fast模式：快速响应，适合日常对话 Reasoning模式：深度思考，对标o3和GPT-5.5 Reasoning DeepSeek-R2模式：超深度推理，专为复杂数学和科学问题设计 基准测试 通用能力 MMLU-Pro： DeepSeek V4：83.2% GPT-5.5：87.3% Claude Opus 4.1：85.7% Qwen3.5 Max：82.1% BBH（BigBench Hard）： DeepSeek V4：86.5% GPT-5.5：89.2% Claude Opus 4.1：87.8% 在通用知识理解上，DeepSeek V4已经非常接近第一梯队，差距从V3时期的5-8%缩小到2-4%。 ...

引言 混合专家（Mixture of Experts, MoE）架构通过将模型参数划分为多个"专家"子网络，每次推理只激活其中一部分，实现了参数规模与计算量的解耦。这一设计使得MoE模型在保持稠密模型性能的同时，大幅降低了推理成本。2026年，MoE已成为主流大模型（Mixtral、DeepSeek-V3、Qwen3-MoE）的核心架构。本文将深入解析MoE的路由机制与负载均衡策略。 MoE基础架构 标准MoE Layer MoE层由 $N$ 个专家网络和1个门控网络（Router/Gating Network）组成： class MoELayer(nn.Module): def __init__(self, d_model, n_experts, n_active, expert_dim): super().__init__() self.n_experts = n_experts self.n_active = n_active # Top-K激活专家数 self.gate = nn.Linear(d_model, n_experts, bias=False) self.experts = nn.ModuleList([ ExpertBlock(d_model, expert_dim) for _ in range(n_experts) ]) def forward(self, x): """ x: [batch_size, seq_len, d_model] """ B, T, D = x.shape # 门控分数 gate_logits = self.gate(x) # [B, T, n_experts] gate_probs = F.softmax(gate_logits, dim=-1) # Top-K选择 topk_probs, topk_indices = gate_probs.topk(self.n_active, dim=-1) # 重新归一化 topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True) # 专家计算（分散式） output = torch.zeros_like(x) for i in range(self.n_active): expert_idx = topk_indices[..., i] # [B, T] expert_weight = topk_probs[..., i].unsqueeze(-1) # [B, T, 1] # 对每个专家ID，批量计算 for eid in range(self.n_experts): mask = (expert_idx == eid) if mask.any(): expert_input = x[mask] expert_output = self.experts[eid](expert_input) output[mask] += expert_weight[mask] * expert_output return output 主流MoE模型对比 模型 总参数 激活参数 专家数 Top-K 特点 Mixtral 8x7B 47B 13B 8 2 首批开源MoE DeepSeek-V2 236B 21B 160 6 细粒度专家 DeepSeek-V3 671B 37B 256 8 共享专家+细粒度 Qwen3-235B 235B 35B 128 8 GQA+MoE Mixtral 8x22B 141B 39B 8 2 大规模MoE 路由机制详解 Top-K路由 标准Top-K路由： ...

MoE（Mixture of Experts）已成为2026年大模型架构的事实标准。从DeepSeek-V3到GPT-5，MoE让模型在保持推理效率的同时实现万亿级参数规模。本文将深入MoE的技术内核。 1. MoE架构基础 1.1 从稠密到稀疏 标准Transformer的FFN层对所有输入执行相同计算。MoE将FFN替换为多个"专家"网络，每个token仅激活少数专家： $$\text{FFN}{MoE}(x) = \sum{i \in \mathcal{I}(x)} g_i(x) \cdot E_i(x)$$ 其中 $\mathcal{I}(x)$ 为路由到token $x$ 的专家索引集合，$g_i(x)$ 为门控权重，$E_i$ 为第 $i$ 个专家。 1.2 参数与计算量的解耦 MoE的关键优势：参数总量与计算量解耦。 模型 总参数 激活参数 FLOPs/token 等效稠密模型 Mixtral 8x7B 47B 13B ~13B ~13B DeepSeek-V3 671B 37B ~37B ~37B GPT-5 (估) 3T 300B ~300B ~300B MoE用3T参数获得了300B稠密模型的效果，但推理仅需300B的计算量。 2. 路由机制详解 2.1 Top-K路由 最基础也最常用的路由策略： class TopKRouter(nn.Module): def __init__(self, d_model, num_experts, top_k=2): super().__init__() self.gate = nn.Linear(d_model, num_experts, bias=False) self.top_k = top_k self.num_experts = num_experts def forward(self, x): # x: [batch * seq_len, d_model] logits = self.gate(x) # [batch * seq_len, num_experts] # Top-K选择 topk_logits, topk_indices = torch.topk(logits, self.top_k, dim=-1) # Softmax归一化（仅对选中的专家） weights = F.softmax(topk_logits, dim=-1) return weights, topk_indices 2.2 Expert Choice路由 反转路由方向：不是token选专家，而是专家选token。 ...

Transformer自2017年Google提出以来，已统治自然语言处理近十年。到2026年，Transformer架构经历了从标准注意力到稀疏注意力、从稠密模型到混合专家（MoE）、从固定上下文到无限上下文的深刻变革。本文将系统性梳理这些演进的技术内核。 1. 经典注意力机制的瓶颈 标准Self-Attention的计算复杂度为 $O(n^2 \cdot d)$，其中 $n$ 为序列长度，$d$ 为隐藏维度。当上下文窗口从2K扩展到1M时，计算和内存开销呈平方级增长。 # 标准注意力计算 def standard_attention(Q, K, V): # Q, K, V: [batch, heads, seq_len, d_k] scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k) attn_weights = F.softmax(scores, dim=-1) output = torch.matmul(attn_weights, V) return output 这一瓶颈催生了三条技术路线：近似注意力、稀疏注意力和线性注意力。 2. 注意力机制的进化路线 2.1 Flash Attention 3.0 Flash Attention系列通过分块计算（tiling）避免实例化完整的 $n \times n$ 注意力矩阵。2026年的Flash Attention 3.0在以下方面实现了突破： 版本 吞吐量 GPU利用率 支持上下文 FA 1.0 2x 40% 32K FA 2.0 3x 60% 128K FA 3.0 5x 85% 1M+ FA 3.0的核心创新是异步流水线：将HBM读写与Tensor Core计算重叠执行，利用Hopper架构的TMA（Tensor Memory Accelerator）硬件单元。 2.2 稀疏注意力 从Longformer的滑动窗口到BigBird的随机+全局模式，稀疏注意力的核心思想是：并非所有token都需要相互关注。 2026年的代表性方案是Block-Sparse Attention，其将注意力矩阵划分为固定大小的块，仅保留对角线附近和若干随机块： $$A_{sparse}(i,j) = \begin{cases} 1 & \text{if } |i-j| < w \text{ or } (i,j) \in \mathcal{S} \ 0 & \text{otherwise} \end{cases}$$ ...

引言 自2017年Vaswani等人提出Transformer架构以来，这一基于自注意力机制的模型已经彻底改变了自然语言处理乃至整个AI领域的格局。到了2026年，Transformer架构经历了多次重大演进：从最初的标准注意力，到Flash Attention的工程优化，再到线性注意力、混合专家（MoE）架构的广泛采用。本文将系统梳理这些技术演进的核心脉络。 标准注意力机制回顾 Transformer的核心是Scaled Dot-Product Attention： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中 $Q \in \mathbb{R}^{n \times d_k}$，$K \in \mathbb{R}^{n \times d_k}$，$V \in \mathbb{R}^{n \times d_v}$。多头注意力（Multi-Head Attention）通过并行运行多个注意力头来捕获不同子空间的信息： class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, d_head): super().__init__() self.n_heads = n_heads self.d_head = d_head self.q_proj = nn.Linear(d_model, n_heads * d_head) self.k_proj = nn.Linear(d_model, n_heads * d_head) self.v_proj = nn.Linear(d_model, n_heads * d_head) self.o_proj = nn.Linear(n_heads * d_head, d_model) def forward(self, x): B, T, C = x.shape q = self.q_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) k = self.k_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) v = self.v_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) # Flash Attention v3 out = flash_attn_func(q, k, v, causal=True) return self.o_proj(out.transpose(1, 2).contiguous().view(B, T, -1)) 标准注意力的计算复杂度为 $O(n^2 d)$，空间复杂度同样为 $O(n^2)$，这成为处理长序列的核心瓶颈。 Flash Attention v3：IO感知的注意力计算 Flash Attention系列通过优化GPU内存层次结构中的IO操作，将注意力的内存访问从 $O(n^2)$ 降低到 $O(n)$。2025年发布的Flash Attention v3在FP8精度下实现了接近理论峰值的算力利用率： 版本 精度 算力利用率 关键创新 Flash Attention v1 FP16 ~50% Tiling + Recomputation Flash Attention v2 FP16/BF16 ~72% 减少非matmul FLOPs Flash Attention v3 FP8 ~75% 异步化 + FP8 GEMM Flash Attention v3的核心创新在于异步化（async）操作：将GEMM和softmax操作重叠执行，充分利用Tensor Core的并行能力。在H100 GPU上，FP8模式下可达1.2 PFLOPS的峰值算力。 ...