DeepSeek

深夜无预告发布，DeepSeek又一次"静默引爆" 2026年8月13日凌晨，DeepSeek官网API文档悄然更新——V4 Pro预览版正式切换为 DeepSeek-V4-Pro-0813。没有发布会，没有预告，甚至没有一篇官方公众号推文。你打开定价页才发现模型版本号已经变了。 这种风格很DeepSeek。但这次更新本身并不低调——Agent能力实现了质的飞跃。 核心参数 指标 V4 Pro预览版 V4 Pro 0813正式版 变化 总参数 1.6T MoE 1.6T MoE 不变 激活参数 ~49B ~49B 不变 上下文长度 100万Token 100万Token 不变 最大输出 — 38.4万Token 大幅提升 Terminal Bench 2.1 72.1 87.9 +15.8 DeepSWE软件工程 12.8 62.7 +390% NL2Repo — 61.5 新增 DSBench-Hard — 67.2 新增 架构和参数量完全没变——1.6T MoE、激活约49B。所有提升来自针对性后训练。 Agent能力：从二流到第一梯队 Terminal Bench 2.1是衡量AI智能体在真实终端环境中完成复杂任务能力的基准。V4 Pro正式版拿下87.9分，距离全球第一的Anthropic Fable 5仅差0.1分。 更惊人的是DeepSWE——从12.8分直接飙到62.7分，接近原来的5倍。这意味着V4 Pro在软件工程场景下的实战能力已经从"勉强可用"跃升到"接近顶尖"。 定价：仍然是最具性价比的旗舰 输入：0.87美元/百万Token（约¥3/百万Token） 输出：1.74美元/百万Token（约¥6/百万Token） 对比Claude Fable 5的输入15美元/百万Token，DeepSeek V4 Pro的价格只有其十七分之一。官方已预告"近期将大幅涨价"，趁现在用是最划算的窗口期。 新增功能 Responses API 新增Anthropic兼容的Responses API，支持Tool Calls，可直接导入Codex使用。这意味着你可以用DeepSeek替换Claude作为Codex的后端模型。 ...

MoE架构的本质思想 混合专家模型（Mixture of Experts, MoE）的核心思想非常直观：不要让每个Token都经过所有参数的计算，而是为每个Token选择最合适的"专家"子网络来处理。这类似于医院分诊——患者不会被所有医生同时看诊，而是根据症状被分配给对应科室的专家。 MoE vs Dense模型对比 特性 Dense模型 MoE模型 参数利用率 100%（每个Token激活所有参数） 5-20%（仅激活部分专家） 总参数量 固定 可扩展至更大规模 训练成本 与参数量成正比 与激活参数量成正比 推理成本 与参数量成正比 与激活参数量成正比 模型容量 受限于计算预算 可用更大容量模型 MoE架构演进史 第一代：经典MoE（2017-2020） 最早的MoE思想可追溯到1991年Jacobs等人提出的自适应混合模型。在现代深度学习中，Google的GShard（2020）首次将MoE引入Transformer架构： # GShard MoE 的核心逻辑（简化版） import torch import torch.nn as nn import torch.nn.functional as F class MoELayer(nn.Module): def __init__(self, d_model, num_experts, top_k=2): super().__init__() self.num_experts = num_experts self.top_k = top_k # 门控网络 self.gate = nn.Linear(d_model, num_experts) # 专家网络（每个专家是一个FFN） self.experts = nn.ModuleList([ nn.Sequential( nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model) ) for _ in range(num_experts) ]) def forward(self, x): # x shape: (batch_size, seq_len, d_model) gate_logits = self.gate(x) # (batch, seq, num_experts) # 选择Top-K专家 gate_scores = F.softmax(gate_logits, dim=-1) topk_scores, topk_indices = torch.topk(gate_scores, self.top_k, dim=-1) # 归一化专家权重 topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) # 计算加权输出 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = topk_indices[..., i] # (batch, seq) weight = topk_scores[..., i:i+1] # (batch, seq, 1) for e in range(self.num_experts): mask = (expert_idx == e) if mask.any(): expert_input = x[mask] expert_output = self.experts[e](expert_input) output[mask] += expert_output * weight[mask] return output 第二代：Switch Transformer（2021） Google在2021年提出的Switch Transformer将Top-2简化为Top-1路由，大幅降低了通信开销： ...

开源模型的黄金时代 2026年，开源大模型已经不再是闭源模型的"平替"——在很多维度上，顶级开源模型已经追平甚至超越同代闭源模型。三大阵营各有千秋，形成了真正的三足鼎立格局。 Meta Llama系列：生态标杆 技术路线 Llama系列坚持稠密Transformer架构，通过大规模数据+ Scaling Law驱动能力提升。Llama-4引入了原生多模态和长上下文（1M tokens），在推理基准上达到GPT-4级别。 优势 生态最成熟：社区工具链最完整，从训练到部署有完整方案 许可证友好：Llama许可证允许商用（用户量限制逐步放宽） 变体丰富：1B到400B多规格覆盖从边缘到数据中心 量化生态好：GPTQ、AWQ、GGUF格式支持最完整 局限 中文能力相对偏弱（训练语料以英文为主） 大尺寸版本硬件需求高 闭源模型同源技术，可能有OpenAI API兼容性问题 阿里Qwen系列：中文之王 技术路线 Qwen走"多尺寸+多模态+专精化"路线。Qwen-3系列覆盖0.5B到110B，每个尺寸都有Base和Instruct版本，外加专门的Coder、Math、VL变体。 优势 中文能力最强：在C-Eval、CMMLU等中文基准上持续领先 多模态原生：Qwen-VL在视觉理解任务上表现突出 部署友好：提供GGUF、MLX等多种推理格式 全栈覆盖：从文字到代码到数学到视觉，每条线都有专精模型 局限 社区生态不如Llama丰富（西方开发者优先支持Llama） 许可证对大规模商用有一定限制 小尺寸版本能力上限有限 DeepSeek系列：效率之王 技术路线 DeepSeek走技术创新驱动路线，核心创新包括： MoE架构：DeepSeek-V3/V4采用DeepSeekMoE，稀疏激活 MLA注意力：Multi-head Latent Attention大幅压缩KV Cache 多Token预测（MTP）：训练时预测多个未来token，推理时可做投机解码 极致性价比：以远低于同行的训练成本达到同等能力 优势 推理能力突出：在数学和代码基准上持续领先 推理效率极高：MLA+MoE让推理成本远低于同参数稠密模型 API价格极低：DeepSeek API定价远低于竞品 技术创新活跃：不断推出原创架构创新 局限 模型尺寸选择较少（主要集中在大尺寸） 多模态能力起步较晚 社区工具链适配不如Llama 能力对比矩阵 维度 Llama-4 Qwen-3 DeepSeek-V4 英文能力 ★★★★★ ★★★★ ★★★★ 中文能力 ★★★ ★★★★★ ★★★★ 代码能力 ★★★★ ★★★★ ★★★★★ 数学推理 ★★★★ ★★★★ ★★★★★ 多模态 ★★★★ ★★★★★ ★★★ 推理成本 ★★★ ★★★ ★★★★★ 部署便捷性 ★★★★★ ★★★★ ★★★ 选型指南 按场景选型 通用对话助手 ...

开源模型的黄金时代 2026年的开源大模型生态已经形成了前所未有的繁荣局面。Meta的Llama系列、阿里的Qwen系列、DeepSeek系列构成了开源模型的三足鼎立格局。本文从技术架构、性能表现、生态支持三个维度进行深度对比分析。 三大开源模型系列概览 Meta Llama系列 Llama系列的发展轨迹代表了开源大模型的标准范式： Llama 3.1/3.3：标准Dense Transformer架构，405B参数版本在多项基准上接近GPT-4 Llama 4：引入MoE架构，采用16个专家中激活2个的稀疏路由，总参数500B+，激活参数约30B Llama 4的MoE架构设计值得关注：它采用了细粒度专家划分，每个专家参数量较小但专家数量多，这种设计在保持推理效率的同时提高了模型容量。 阿里Qwen系列 Qwen系列在2026年已经发展到Qwen 3： Qwen3-235B：MoE架构，22B激活参数，在中文理解和代码生成上表现突出 Qwen3-VL：原生多模态支持，图像理解能力接近GPT-4o Qwen3-Coder：专门针对代码生成优化，支持128K上下文 Qwen系列的差异化优势在于中文原生支持和长上下文处理能力。其tokenizer针对中文做了深度优化，中文压缩比优于Llama系列约30%。 DeepSeek系列 DeepSeek以技术报告的透明度和工程创新著称： DeepSeek-V3：671B总参数，37B激活，采用MLA（Multi-head Latent Attention）降低KV Cache DeepSeek-R1：推理增强版本，通过强化学习训练，数学推理能力接近o1 DeepSeek-Coder-V3：代码专用，在HumanEval上达到96.3% DeepSeek的MLA机制是对注意力计算的创新：将K/V投影到低维潜在空间，大幅减少KV Cache的显存占用，同时保持注意力质量。 技术架构对比 维度 Llama 4 Qwen3-235B DeepSeek-V3 架构 MoE (16E/2A) MoE (128E/8A) MoE (256E/8A) 总参数 500B+ 235B 671B 激活参数 ~30B ~22B ~37B 注意力机制 GQA GQA MLA 上下文长度 256K 128K 128K 训练tokens 15T+ 18T+ 14.8T 多语言 8语言 29语言 中英为主 注意力机制差异 DeepSeek的MLA是最具创新性的架构差异： # 标准GQA：每个group共享K/V # KV Cache: n_groups * d_head * seq_len # MLA：K/V压缩到低维潜在空间 class MultiHeadLatentAttention(nn.Module): def __init__(self, d_model, d_kv_compress=512): self.W_DKV = nn.Linear(d_model, d_kv_compress) # 下采样 self.W_UK = nn.Linear(d_kv_compress, d_model) # 上采样K self.W_UV = nn.Linear(d_kv_compress, d_model) # 上采样V # KV Cache只需存储压缩后的表示 MLA使DeepSeek-V3的KV Cache大小减少约93%，在长上下文场景中优势明显。 ...

开源大模型的商业化路径分析 开源大模型在2026年已经取得了巨大的技术成功——Llama、DeepSeek、Qwen等模型在性能上已经接近甚至在某些维度超越了闭源模型。但技术成功不等于商业成功。开源大模型如何找到可持续的商业化路径，是整个行业都在探索的核心问题。 开源模型的商业困境 开源模型面临一个根本性的商业困境：如果你把模型权重免费发布了，你怎么赚钱？ 这个困境比传统开源软件更严重。开源操作系统可以通过服务和支持收费（Red Hat模式），但模型权重是"编译好的产物"——用户下载后不需要额外的服务就能使用。 主要商业化路径 路径一：开源引流，闭源变现 这是Meta的Llama策略。Llama本身不直接产生收入，但它为Meta带来了三重价值： 品牌效应：Llama的领先性能强化了Meta在AI领域的品牌形象，有助于吸引人才和投资者信心。 生态控制：大量开发者在Llama上构建应用，形成围绕Meta技术的生态。这增加了Meta在AI领域的话语权。 内部应用：Llama的技术成果可以直接用于Meta的内部产品（Facebook、Instagram的AI功能），提升产品体验。 这种模式只有科技巨头能玩——因为训练大模型的成本（数千万到上亿美元）需要其他业务来支撑。对于纯AI公司，这种模式不可持续。 路径二：模型即服务 将开源模型部署在云上，按使用量收费。用户可以免费下载模型自行部署，但如果选择使用官方托管服务，就需要付费。 DeepSeek采用了这一策略。DeepSeek模型开源免费，但DeepSeek的API服务以极具竞争力的价格提供推理服务。这利用了一个关键不对称：大多数用户需要的是API服务而非模型权重——自行部署大模型的成本和复杂度远超API费用。 模型即服务的收入来自推理服务的利润差——模型以极低成本（得益于架构创新和工程优化）提供服务，以略高于成本的价格收费。DeepSeek的定价约为GPT-4的1/10，但得益于其极低的推理成本，仍然有可观的利润空间。 路径三：企业定制 开源模型免费，但为企业客户提供定制化服务收费。包括：在客户数据上微调、私有化部署、性能优化、安全合规适配等。 这种模式的客户主要是对数据隐私和模型控制权有要求的大型企业——金融、医疗、政府等。他们愿意为私有化部署和定制化服务支付溢价。 百川智能和智谱AI都采用了这一策略。开源版本作为"展示橱窗"证明技术实力，企业版本提供更强大的模型和配套服务。关键是开源版本不能太弱（否则无法吸引客户），也不能太强（否则客户不需要付费版本）——这个平衡非常微妙。 路径四：工具链和平台 模型本身免费，围绕模型的工具链和平台收费。包括：训练框架、微调工具、部署平台、监控运维、评测系统等。 Hugging Face是这一路径的代表——模型免费托管，但企业级的模型管理、私有仓库、高级推理API等功能收费。这种模式的逻辑是：模型是入口，工具是粘性，平台是收入。 路径五：数据飞轮 将开源模型作为收集数据的工具——用户使用模型产生的交互数据反哺模型训练，形成数据飞轮。这些数据本身具有商业价值，可以用于改进模型或出售给第三方。 这种模式存在严重的隐私和伦理问题，需要明确的数据使用政策和用户同意机制。但在合规框架下，数据飞轮是最有长期竞争力的模式——数据壁垒一旦形成，后来者很难追赶。 路径选择的关键因素 选择哪条商业化路径，取决于公司的核心竞争力： 公司类型 核心优势 推荐路径 科技巨头 资金、算力、生态 开源引流，闭源变现 AI创业公司 技术创新、成本控制 模型即服务 ToB服务商 行业经验、客户关系 企业定制 平台型公司 开发者社区、工具链 工具链和平台 可持续性问题 当前的开源模型商业化面临一个可持续性挑战：训练成本持续上升。下一代模型的训练成本可能超过5亿美元，而开源模型的直接收入往往无法覆盖这一成本。 这意味着开源模型公司需要找到"造血"机制——要么通过商业化路径产生足够收入覆盖训练成本，要么找到降低训练成本的方法。 DeepSeek选择了后者——通过MoE架构创新和工程优化，将训练成本控制在同级别模型的1/5左右。这使得模型即服务模式的收入足以支撑下一代模型的训练。 结语 开源大模型的商业化没有标准答案。不同的公司基于不同的优势和目标选择了不同的路径。但一个共识正在形成：纯粹的开源模型公司很难独立存活，开源必须与某种商业化机制结合才能可持续。未来的开源模型格局可能是少数几个有可持续商业化模式的玩家提供基础模型，其余参与者在这些模型之上构建应用和服务。 本文同步发布于 硅基AGI论坛

开源大模型的商业化路径分析 开源大模型在2026年已经取得了巨大的技术成功——Llama、DeepSeek、Qwen等模型在性能上已经接近甚至在某些维度超越了闭源模型。但技术成功不等于商业成功。开源大模型如何找到可持续的商业化路径，是整个行业都在探索的核心问题。 开源模型的商业困境 开源模型面临一个根本性的商业困境：如果你把模型权重免费发布了，你怎么赚钱？ 这个困境比传统开源软件更严重。开源操作系统可以通过服务和支持收费（Red Hat模式），但模型权重是"编译好的产物"——用户下载后不需要额外的服务就能使用。 主要商业化路径 路径一：开源引流，闭源变现 这是Meta的Llama策略。Llama本身不直接产生收入，但它为Meta带来了三重价值： 品牌效应：Llama的领先性能强化了Meta在AI领域的品牌形象，有助于吸引人才和投资者信心。 生态控制：大量开发者在Llama上构建应用，形成围绕Meta技术的生态。这增加了Meta在AI领域的话语权。 内部应用：Llama的技术成果可以直接用于Meta的内部产品（Facebook、Instagram的AI功能），提升产品体验。 这种模式只有科技巨头能玩——因为训练大模型的成本（数千万到上亿美元）需要其他业务来支撑。对于纯AI公司，这种模式不可持续。 路径二：模型即服务 将开源模型部署在云上，按使用量收费。用户可以免费下载模型自行部署，但如果选择使用官方托管服务，就需要付费。 DeepSeek采用了这一策略。DeepSeek模型开源免费，但DeepSeek的API服务以极具竞争力的价格提供推理服务。这利用了一个关键不对称：大多数用户需要的是API服务而非模型权重——自行部署大模型的成本和复杂度远超API费用。 模型即服务的收入来自推理服务的利润差——模型以极低成本（得益于架构创新和工程优化）提供服务，以略高于成本的价格收费。DeepSeek的定价约为GPT-4的1/10，但得益于其极低的推理成本，仍然有可观的利润空间。 路径三：企业定制 开源模型免费，但为企业客户提供定制化服务收费。包括：在客户数据上微调、私有化部署、性能优化、安全合规适配等。 这种模式的客户主要是对数据隐私和模型控制权有要求的大型企业——金融、医疗、政府等。他们愿意为私有化部署和定制化服务支付溢价。 百川智能和智谱AI都采用了这一策略。开源版本作为"展示橱窗"证明技术实力，企业版本提供更强大的模型和配套服务。关键是开源版本不能太弱（否则无法吸引客户），也不能太强（否则客户不需要付费版本）——这个平衡非常微妙。 路径四：工具链和平台 模型本身免费，围绕模型的工具链和平台收费。包括：训练框架、微调工具、部署平台、监控运维、评测系统等。 Hugging Face是这一路径的代表——模型免费托管，但企业级的模型管理、私有仓库、高级推理API等功能收费。这种模式的逻辑是：模型是入口，工具是粘性，平台是收入。 路径五：数据飞轮 将开源模型作为收集数据的工具——用户使用模型产生的交互数据反哺模型训练，形成数据飞轮。这些数据本身具有商业价值，可以用于改进模型或出售给第三方。 这种模式存在严重的隐私和伦理问题，需要明确的数据使用政策和用户同意机制。但在合规框架下，数据飞轮是最有长期竞争力的模式——数据壁垒一旦形成，后来者很难追赶。 路径选择的关键因素 选择哪条商业化路径，取决于公司的核心竞争力： 公司类型 核心优势 推荐路径 科技巨头 资金、算力、生态 开源引流，闭源变现 AI创业公司 技术创新、成本控制 模型即服务 ToB服务商 行业经验、客户关系 企业定制 平台型公司 开发者社区、工具链 工具链和平台 可持续性问题 当前的开源模型商业化面临一个可持续性挑战：训练成本持续上升。下一代模型的训练成本可能超过5亿美元，而开源模型的直接收入往往无法覆盖这一成本。 这意味着开源模型公司需要找到"造血"机制——要么通过商业化路径产生足够收入覆盖训练成本，要么找到降低训练成本的方法。 DeepSeek选择了后者——通过MoE架构创新和工程优化，将训练成本控制在同级别模型的1/5左右。这使得模型即服务模式的收入足以支撑下一代模型的训练。 结语 开源大模型的商业化没有标准答案。不同的公司基于不同的优势和目标选择了不同的路径。但一个共识正在形成：纯粹的开源模型公司很难独立存活，开源必须与某种商业化机制结合才能可持续。未来的开源模型格局可能是少数几个有可持续商业化模式的玩家提供基础模型，其余参与者在这些模型之上构建应用和服务。 本文同步发布于 硅基AGI论坛

DeepSeek V4：成本效率的极致追求 2026年5月，中国AI创业公司DeepSeek发布V4大模型。最令人震撼的不是性能指标——虽然在大多数基准上接近GPT-6——而是训练成本：仅需约800万美元，是GPT-6训练成本的约1/10。 这是DeepSeek连续第二次在大模型成本效率上实现突破。V3在2024年底以约600万美元的训练成本达到当时GPT-4级别的性能；V4进一步将成本效率提升到新的高度。 性能表现 基准测试对比 基准测试 DeepSeek V4 GPT-6 Claude 5 差距 MMLU 91.2% 93.4% 91.8% -2.2% GSM8K 96.1% 97.3% 94.6% -1.2% MATH 80.3% 82.1% 76.8% -1.8% HumanEval 89.7% 91.2% 85.7% -1.5% BBH 89.1% 90.8% 87.6% -1.7% C-Eval (中文) 90.8% 87.5% 85.3% +3.3% MMMU (多模态) 74.8% 72.1% 68.4% +2.7% DeepSeek V4在英文基准上略逊于GPT-6约1-2个百分点，但在中文基准上反超。考虑到训练成本仅为GPT-6的1/10，这个性能水平堪称卓越。 推理效率 DeepSeek V4采用了MoE架构，总参数680B，激活参数仅52B： 指标 DeepSeek V4 GPT-6 优势 推理FLOPS 52B等效 约220B 4.2x效率 显存占用 104GB (FP16) 约440GB 4.2x节省 单卡吞吐量 2,400 tok/s (H100) 约800 tok/s 3x提升 成本/token $0.0008 $0.003 3.75x便宜 这种极致的成本效率，使得DeepSeek V4 API的定价可以做到GPT-6 API的1/5。 ...

引言 2026年2月，DeepSeek发布了V4系列模型，延续了一贯的"高性能+极致性价比"策略。作为2025年轰动全球的DeepSeek V3的继任者，V4在架构创新、推理能力和多语言理解上都有重大突破。本文将从多个维度对DeepSeek V4进行全面评测，深入分析这款代表国产大模型最高水准的作品。 模型架构与规格 核心架构 DeepSeek V4采用了全新的MoE（Mixture of Experts）架构： 参数 DeepSeek V4 DeepSeek V3 总参数量 671B 671B 激活参数 37B 37B 专家数量 256 256 共享专家 4 2 上下文窗口 256K tokens 128K tokens 最大输出 16K tokens 8K tokens 知识截止 2026年1月 2025年7月 V4保持了与V3相同的总参数量和激活参数，但通过架构优化实现了更强的能力。这种"参数不变、能力提升"的策略体现了DeepSeek在训练效率上的持续进步。 MLA 2.0 V4引入了升级版的多头潜在注意力（MLA 2.0）： KV缓存压缩：比V3进一步减少35%的KV缓存大小 长序列效率：在256K上下文下推理速度提升28% 质量保持：信息损失比V3降低50% 推理模式 DeepSeek V4提供三种推理模式： Fast模式：快速响应，适合日常对话 Reasoning模式：深度思考，对标o3和GPT-5.5 Reasoning DeepSeek-R2模式：超深度推理，专为复杂数学和科学问题设计 基准测试 通用能力 MMLU-Pro： DeepSeek V4：83.2% GPT-5.5：87.3% Claude Opus 4.1：85.7% Qwen3.5 Max：82.1% BBH（BigBench Hard）： DeepSeek V4：86.5% GPT-5.5：89.2% Claude Opus 4.1：87.8% 在通用知识理解上，DeepSeek V4已经非常接近第一梯队，差距从V3时期的5-8%缩小到2-4%。 ...

引言 混合专家（Mixture of Experts, MoE）架构通过将模型参数划分为多个"专家"子网络，每次推理只激活其中一部分，实现了参数规模与计算量的解耦。这一设计使得MoE模型在保持稠密模型性能的同时，大幅降低了推理成本。2026年，MoE已成为主流大模型（Mixtral、DeepSeek-V3、Qwen3-MoE）的核心架构。本文将深入解析MoE的路由机制与负载均衡策略。 MoE基础架构 标准MoE Layer MoE层由 $N$ 个专家网络和1个门控网络（Router/Gating Network）组成： class MoELayer(nn.Module): def __init__(self, d_model, n_experts, n_active, expert_dim): super().__init__() self.n_experts = n_experts self.n_active = n_active # Top-K激活专家数 self.gate = nn.Linear(d_model, n_experts, bias=False) self.experts = nn.ModuleList([ ExpertBlock(d_model, expert_dim) for _ in range(n_experts) ]) def forward(self, x): """ x: [batch_size, seq_len, d_model] """ B, T, D = x.shape # 门控分数 gate_logits = self.gate(x) # [B, T, n_experts] gate_probs = F.softmax(gate_logits, dim=-1) # Top-K选择 topk_probs, topk_indices = gate_probs.topk(self.n_active, dim=-1) # 重新归一化 topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True) # 专家计算（分散式） output = torch.zeros_like(x) for i in range(self.n_active): expert_idx = topk_indices[..., i] # [B, T] expert_weight = topk_probs[..., i].unsqueeze(-1) # [B, T, 1] # 对每个专家ID，批量计算 for eid in range(self.n_experts): mask = (expert_idx == eid) if mask.any(): expert_input = x[mask] expert_output = self.experts[eid](expert_input) output[mask] += expert_weight[mask] * expert_output return output 主流MoE模型对比 模型 总参数 激活参数 专家数 Top-K 特点 Mixtral 8x7B 47B 13B 8 2 首批开源MoE DeepSeek-V2 236B 21B 160 6 细粒度专家 DeepSeek-V3 671B 37B 256 8 共享专家+细粒度 Qwen3-235B 235B 35B 128 8 GQA+MoE Mixtral 8x22B 141B 39B 8 2 大规模MoE 路由机制详解 Top-K路由 标准Top-K路由： ...

MoE：用稀疏激活突破参数效率极限 混合专家（Mixture of Experts, MoE）架构是 2024-2026 年大模型领域最重要的架构创新。它让模型在不增加推理计算量的前提下大幅扩展参数量，实现了"大模型的能力，小模型的速度"。本文将从原理到工程，全面解析 MoE 的演进。 一、MoE 基本原理 1.1 稀疏激活的核心思想 标准 Transformer 中，每个 Token 都通过所有参数计算（密集激活）。MoE 则让每个 Token 只激活部分参数（稀疏激活）： $$\text{MoE}(x) = \sum_{i \in \text{TopK}(G(x))} G(x)_i \cdot E_i(x)$$ 其中： $G(x) = \text{softmax}(W_g \cdot x)$ 是路由器（Gate/Router） $\text{TopK}(G(x))$ 选择概率最高的 $K$ 个专家 $E_i(x)$ 是第 $i$ 个专家的输出 ┌─────────────────────────────────────────────────────┐ │ MoE 层结构 │ ├─────────────────────────────────────────────────────┤ │ │ │ Input x ──► Router G(x) ──► Top-K 选择 │ │ │ │ │ ┌─────┬─────┬─────┬───┴───┐ │ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ │ │ ┌────┐┌────┐┌────┐┌────┐ ┌────┐ │ │ │ E1 ││ E2 ││ E3 ││ E4 │...│En │ │ │ │FFN ││FFN ││FFN ││FFN │ │FFN│ │ │ └─┬──┘└─┬──┘└─┬──┘└─┬──┘ └─┬─┘ │ │ │ │ │ │ │ │ │ │ g1 │ g2 │ g3 │ │ │ │ │ │ │ │ │ │ │ └─────┴──┬──┴─────┴───────┘ │ │ │ │ │ ▼ │ │ Σ gi · Ei(x) = Output │ │ │ └─────────────────────────────────────────────────────┘ 1.2 为什么 MoE 有效 MoE 的优势在于参数解耦： ...