MoE

硅基速览 月之暗面发布Kimi K3，总参数2.8万亿、每token激活104B，是目前全球已发布的最大开源权重模型。 与DeepSeek V4.1 Flash（552B总参/8B激活）形成两条开源路线：超大总参追性能 vs 小激活追效率。 K3面向有充足算力预算的企业研究场景，V4.1 Flash面向高频调用的Agent生产场景。 正文 2.8万亿参数是什么概念 2026年9月，月之暗面（Moonshot AI）发布了Kimi K3模型。根据TensorFeed在9月14日的开源模型排行榜，Kimi K3是目前全球已发布的最大开源权重模型： 总参数：2.8万亿（2.8T） 每token激活参数：104B（1040亿） 协议：开源权重 2.8万亿参数是什么概念？作为对比： GPT-4估计约1.8万亿参数（闭源） DeepSeek V4 Pro约1.6万亿参数 Kimi K3：2.8万亿 Kimi K3的参数量已经超过了所有已知闭源前沿模型。它是开源社区第一次在参数量上追平甚至超过闭源阵营。 两条开源路线的对决 Kimi K3和DeepSeek V4.1 Flash代表了2026年开源模型的两条路线，硅基视角对比： 维度 Kimi K3 DeepSeek V4.1 Flash 总参数 2.8T 552B 激活参数 104B/token 8B/token 设计目标 极致性能 极致效率 硬件需求 多节点GPU集群 Mac Studio（2-bit量化） 适用场景 企业研究/推理密集型 Agent高频调用/成本敏感 协议 开源权重 MIT 这两条路线的选择，反映了两家公司对AI未来的不同判断： 月之暗面赌的是"性能天花板"。 K3走的是"大力出奇迹"路线——把模型做到最大，性能做到最强，让企业研究机构能在本地部署一个接近GPT-6级别的模型。这条路的受众窄，但客单价高。 DeepSeek赌的是"效率下限"。 V4.1 Flash走的是"降本增效"路线——把推理成本压到最低，让Agent应用能在经济上跑通。这条路的受众广，靠规模赚钱。 开源模型的2026年格局 到2026年9月，开源模型已经形成了清晰的梯队： 第一梯队（前沿级）：DeepSeek V4.1 Flash、Kimi K3、Llama 4系列。这些模型在多数基准上已经接近或达到闭源旗舰水平。 ...

OpenRouter最新数据显示，中国大模型周调用量61.17万亿Token，连续20周超越美国。DeepSeek V4.1 Flash发布三天冲入全球第六，552B参数MoE架构配合Causal-Encoder-Decoder新设计，将KV Cache对HBM的需求降至1/4。

国产旗舰的新高度 2026年8月3日，阿里云通义千问团队正式发布新一代基座大模型 Qwen3.8-Max。总参数量达到 2.4万亿，是继 Kimi K3 之后中国第二个参数规模突破两万亿的大模型。 这不仅是参数量的里程碑，更是一次战略姿态的宣示——旗舰模型首次开源。 硬核参数拆解 指标 Qwen3.8-Max 总参数 2.4万亿（MoE架构） 激活参数 约95B 上下文 原生256K，可扩展至百万级 模态 图文音视频全模态 开源 8月13日开源 2.4T-A95B 权重 MoE（混合专家）架构让"2.4万亿参数"不再意味着"2.4万亿的推理成本"——每次推理只激活约95B参数，在性能与成本之间找到了平衡点。 演示视频里的Agent能力 官方演示中，Qwen3.8-Max 在无人工干预的情况下连续自主编码16天完成复杂任务。Agent 能力的提升肉眼可见： 长程任务规划与自我纠错 工具调用与代码执行的自洽闭环 跨会话的持续上下文保持 定价与生态冲击 更激进的是定价策略：推理价格大幅下调，配合开源权重，Qwen3.8-Max 直接冲击了"旗舰模型必须闭源收费"的传统商业逻辑。 8月14日，Qwen3.8-27B 开源后两日内全球下载量破百万，开源生态的号召力得到验证。 结语 从 K3 到 Qwen3.8-Max，中国大模型在2万亿参数俱乐部站稳了脚跟。而"旗舰开源"这一步，把竞争从模型能力延伸到了生态建设——谁能留住开发者，谁才能赢得下一程。

两个突破，一条主线 2026年8月第二周，国产AI同时在两个方向取得突破：阿里首次开源Max级旗舰模型权重，字节跳动推出原生实时多模态模型。看似不同赛道，背后是同一条主线——国产AI正在从"追赶"走向"定义"。 一、Qwen3.8 Max：2.4万亿参数首次开源 8月10日当周，阿里巴巴正式开源Qwen3.8-Max旗舰模型权重（Qwen3.8-2.4T-A95B）。 这是千问Max级别旗舰模型首次对外开源。 核心参数 指标 数值 总参数 2.4万亿（2.4T） 架构 稀疏MoE 单次激活 ~950亿参数（95B） Artificial Analysis智能指数 58 编程指数 71.8 开源意味着什么 此前Max级模型只有API调用，这次开放权重意味着： 企业可以本地部署：数据不出内网，合规无忧 研究者可以微调：在旗舰模型上做领域适配 生态效应：吸引更多开发者围绕Qwen构建工具链 配套发布 Qwen3.8-27B开放权重预计8月15日上线ModelScope。中小参数版本适合资源有限的团队，与Max版本形成梯度。 对开源生态的影响 国产开源模型已经形成清晰梯队： Qwen3.8 Max (2.4T) — 旗舰，企业级部署 Qwen3.8 27B — 中型，中小团队微调首选 DeepSeek V4 Flash — 轻量，大规模推理 开源不是慈善——是生态卡位。谁的模型被最多人用，谁就定义下一轮技术标准。 二、字节SeedRealtime：AI开始真正"看、听、说" 8月11日，字节跳动推出SeedRealtime模型。 核心能力 原生支持音视频全双工交互——可以同时处理视觉、听觉等输入，并进行实时输出。 过去的多模态AI更像流水线： 视频 → 视觉模型 → 文本理解 → 语言模型 → 语音生成 → 输出 SeedRealtime是原生端到端： 音视频输入 → 实时输出（延迟毫秒级） 这意味着什么 实时对话：你可以直接对着摄像头说话，AI同时看你的表情、听你的声音、实时回复 直播场景：AI可以成为真正的直播主持，与观众实时互动 教育场景：AI家教可以看学生做题过程，实时指导 客服场景：视频客服不再是"录制+播放"，而是真正的实时对话 与竞品对比 指标 SeedRealtime GPT-5 Realtime Gemini Live 音视频同时输入 ✅ 原生 ✅ 部分 延迟 毫秒级 ~300ms ~500ms 中文支持 原生 良好 一般 开放程度 API调用 API调用 API调用 字节在中文实时多模态赛道上有明显优势——中文语音识别和生成是字节的看家本领。 ...

MoE架构的本质思想 混合专家模型（Mixture of Experts, MoE）的核心思想非常直观：不要让每个Token都经过所有参数的计算，而是为每个Token选择最合适的"专家"子网络来处理。这类似于医院分诊——患者不会被所有医生同时看诊，而是根据症状被分配给对应科室的专家。 MoE vs Dense模型对比 特性 Dense模型 MoE模型 参数利用率 100%（每个Token激活所有参数） 5-20%（仅激活部分专家） 总参数量 固定 可扩展至更大规模 训练成本 与参数量成正比 与激活参数量成正比 推理成本 与参数量成正比 与激活参数量成正比 模型容量 受限于计算预算 可用更大容量模型 MoE架构演进史 第一代：经典MoE（2017-2020） 最早的MoE思想可追溯到1991年Jacobs等人提出的自适应混合模型。在现代深度学习中，Google的GShard（2020）首次将MoE引入Transformer架构： # GShard MoE 的核心逻辑（简化版） import torch import torch.nn as nn import torch.nn.functional as F class MoELayer(nn.Module): def __init__(self, d_model, num_experts, top_k=2): super().__init__() self.num_experts = num_experts self.top_k = top_k # 门控网络 self.gate = nn.Linear(d_model, num_experts) # 专家网络（每个专家是一个FFN） self.experts = nn.ModuleList([ nn.Sequential( nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model) ) for _ in range(num_experts) ]) def forward(self, x): # x shape: (batch_size, seq_len, d_model) gate_logits = self.gate(x) # (batch, seq, num_experts) # 选择Top-K专家 gate_scores = F.softmax(gate_logits, dim=-1) topk_scores, topk_indices = torch.topk(gate_scores, self.top_k, dim=-1) # 归一化专家权重 topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) # 计算加权输出 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = topk_indices[..., i] # (batch, seq) weight = topk_scores[..., i:i+1] # (batch, seq, 1) for e in range(self.num_experts): mask = (expert_idx == e) if mask.any(): expert_input = x[mask] expert_output = self.experts[e](expert_input) output[mask] += expert_output * weight[mask] return output 第二代：Switch Transformer（2021） Google在2021年提出的Switch Transformer将Top-2简化为Top-1路由，大幅降低了通信开销： ...

MoE：用参数量换计算效率 MoE（Mixture of Experts）的核心思想很简单：不是所有参数都需要参与每次计算。通过路由机制，只激活与当前输入最相关的"专家"子网络，在保持大参数量的同时大幅降低计算量。 基本原理 稠密模型 vs 稀疏模型 传统稠密模型：每个token经过所有参数的计算。 输入token → [Attention] → [MLP(d, d_ff)] → 输出 所有参数参与计算 MoE模型：MLP层被替换为多个专家MLP，路由器选择激活哪些专家。 输入token → [Attention] → [Router] → 选择Top-K专家 ↓ [Expert1] [Expert2] ... [ExpertN] ↓ (仅K个被激活) 加权合并 → 输出 关键参数 专家数(N)：总专家数量。通常8-64个 激活数(K)：每个token激活的专家数。通常2-8个 稀疏率：1 - K/N。如8/64的配置，稀疏率为87.5% 以DeepSeek-V3为例：256个专家，每token激活8个，总参数671B但推理时只激活37B——等效于37B模型的计算量，但拥有671B参数的知识容量。 路由机制 基础路由 最简单的路由方式： def route(token, experts): # 计算token与每个专家的亲和度 scores = softmax(W_router @ token) # [N] # 选择Top-K个专家 top_k_indices = argsort(scores)[-K:] top_k_scores = scores[top_k_indices] # 归一化 top_k_scores /= top_k_scores.sum() # 加权合并 output = sum(experts[i](token) * top_k_scores[i] for i in top_k_indices) return output 负载均衡问题 基础路由有一个严重问题：路由坍缩。模型倾向于总是选择少数几个"好"专家，其他专家得不到训练。 ...

MoE：用稀疏激活突破密集模型的效率瓶颈 混合专家模型（Mixture of Experts）通过稀疏激活机制，让模型总参数量巨大但每次推理只激活一小部分。DeepSeek-V3的671B参数中每次只激活37B，Llama 4的500B+参数只激活30B——这就是MoE的效率魔法。 MoE的数学基础 标准MoE层 给定输入 $x$，MoE层的计算过程： $$y = \sum_{i=1}^{N} g_i(x) \cdot f_i(x)$$ 其中 $f_i$ 是第 $i$ 个专家（一个FFN），$g_i$ 是路由函数： $$g_i(x) = \text{softmax}(W_g \cdot x)_i$$ Top-K路由只保留 $K$ 个最大的 $g_i$，其余置零： $$g_i(x) = \begin{cases} \frac{\exp(W_g \cdot x)i}{\sum{j \in \text{TopK}} \exp(W_g \cdot x)_j} & i \in \text{TopK} \ 0 & \text{otherwise} \end{cases}$$ 专家容量因子 为防止所有token路由到同一专家（路由崩塌），每个专家有一个容量上限： $$\text{capacity} = \frac{T \cdot K}{N} \times \text{capacity_factor}$$ 其中 $T$ 是token数，$K$ 是Top-K，$N$ 是专家数。超出容量的token被丢弃或传递到下一层。 路由机制设计 标准Top-K路由 最简单的路由方式。每个token独立选择Top-K个专家： class TopKRouter(nn.Module): def __init__(self, dim, n_experts, top_k=2): self.gate = nn.Linear(dim, n_experts) self.top_k = top_k def forward(self, x): # x: [batch * seq_len, dim] logits = self.gate(x) scores = F.softmax(logits, dim=-1) # Top-K选择 topk_scores, topk_indices = scores.topk(self.top_k, dim=-1) topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) return topk_scores, topk_indices 专家选择路由 DeepSeek-V3使用了一种"专家选择"的反向路由：每个专家选择Top-K个token，而非token选择专家。这平衡了专家负载： ...

2017年"Attention Is All You Need"论文发表时，很少有人预料它会引发一场计算革命。从那以后，Transformer架构经历了无数变体和改进。站在2026年回望，这条演进路线图不仅有趣，更有助于理解未来可能的突破方向。 一、2017-2019：奠基时代 2017年6月：Transformer Google提出的原始Transformer用于机器翻译，核心创新： 自注意力机制：替代RNN的序列依赖，实现并行计算 多头注意力：多个注意力头捕捉不同子空间的信息 位置编码：正弦余弦函数编码位置信息 关键意义：打破了RNN的序列计算瓶颈，训练效率大幅提升。 2018年6月：GPT-1 OpenAI的第一个Generative Pre-trained Transformer： 仅使用Decoder（自回归生成） 无监督预训练 + 有监督微调 参数量：1.17亿 在多个NLP任务上达到SOTA 2018年10月：BERT Google的双向Encoder： Masked Language Model预训练 双向注意力（看上下文而非仅看前文） 刷新11项NLP任务纪录 GPT vs BERT的路线分歧奠定了未来格局：GPT走生成路线，BERT走理解路线。最终，生成路线在scaling中展现出更强的潜力。 2019年2月：GPT-2 参数量激增到15亿，展现了令人惊讶的零样本能力。“写一篇关于独角兽的文章"的输出质量震惊了业界。OpenAI initially以"太危险"为由分阶段发布——现在看来，这个"安全担忧"更像是营销策略。 二、2020-2022：Scaling时代 2020年5月：GPT-3 参数量跳跃到1750亿，few-shot能力涌现。不需要微调，仅靠prompt中的几个示例就能完成新任务。 关键洞察：Scaling Law——模型能力随参数量、数据量、计算量幂律增长。这一发现改变了整个领域的研究范式：从"设计更好的架构"转向"scale up现有架构”。 2021年：稀疏专家模型（MoE） Google的Switch Transformer将MoE引入Transformer： 每个token只激活部分专家网络 参数量增加但计算量不变 相同计算预算下性能更优 MoE在2021年还是"小众"技术，但到2025-2026年已成为主流大模型的标配。 2022年1月：InstructGPT RLHF（人类反馈强化学习）首次大规模应用： SFT + Reward Model + PPO 模型从"续写"进化为"遵循指令" 这一步是从GPT-3到ChatGPT的关键桥梁 2022年11月：ChatGPT 对话能力质变，AI走入大众视野。技术上的创新不算多（InstructGPT + 对话优化），但产品层面的影响是颠覆性的。 三、2023：架构创新爆发 2023年3月：GPT-4 多模态能力（图文输入），推理能力大幅提升。OpenAI开始走"闭源+API"路线，学术界开始寻找开源替代。 2023年7月：Llama 2 Meta开源Llama 2，商业可用。虽然性能不如GPT-4，但开源生态的繁荣由此开始。 2023年：关键架构创新 Grouped-Query Attention (GQA)： ...

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛