模型架构

MoE：用稀疏激活突破密集模型的效率瓶颈 混合专家模型（Mixture of Experts）通过稀疏激活机制，让模型总参数量巨大但每次推理只激活一小部分。DeepSeek-V3的671B参数中每次只激活37B，Llama 4的500B+参数只激活30B——这就是MoE的效率魔法。 MoE的数学基础 标准MoE层 给定输入 $x$，MoE层的计算过程： $$y = \sum_{i=1}^{N} g_i(x) \cdot f_i(x)$$ 其中 $f_i$ 是第 $i$ 个专家（一个FFN），$g_i$ 是路由函数： $$g_i(x) = \text{softmax}(W_g \cdot x)_i$$ Top-K路由只保留 $K$ 个最大的 $g_i$，其余置零： $$g_i(x) = \begin{cases} \frac{\exp(W_g \cdot x)i}{\sum{j \in \text{TopK}} \exp(W_g \cdot x)_j} & i \in \text{TopK} \ 0 & \text{otherwise} \end{cases}$$ 专家容量因子 为防止所有token路由到同一专家（路由崩塌），每个专家有一个容量上限： $$\text{capacity} = \frac{T \cdot K}{N} \times \text{capacity_factor}$$ 其中 $T$ 是token数，$K$ 是Top-K，$N$ 是专家数。超出容量的token被丢弃或传递到下一层。 路由机制设计 标准Top-K路由 最简单的路由方式。每个token独立选择Top-K个专家： class TopKRouter(nn.Module): def __init__(self, dim, n_experts, top_k=2): self.gate = nn.Linear(dim, n_experts) self.top_k = top_k def forward(self, x): # x: [batch * seq_len, dim] logits = self.gate(x) scores = F.softmax(logits, dim=-1) # Top-K选择 topk_scores, topk_indices = scores.topk(self.top_k, dim=-1) topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) return topk_scores, topk_indices 专家选择路由 DeepSeek-V3使用了一种"专家选择"的反向路由：每个专家选择Top-K个token，而非token选择专家。这平衡了专家负载： ...

深度解析注意力机制的变体与演进 注意力机制是Transformer架构的灵魂。自2017年"Attention is All You Need"发表以来，围绕标准Self-Attention的改进工作从未停止。在2026年，这个领域已经发展出一棵枝繁叶茂的技术树。本文将系统梳理注意力机制的主要演进方向和关键变体。 标准Self-Attention回顾 标准注意力机制的核心公式 O = softmax(QK^T / √d_k) V，其计算复杂度为O(n²d)，其中n是序列长度，d是特征维度。这个n²复杂度是所有注意力优化的核心敌人——当序列长度从2K增长到128K，计算量增长4000倍。 标准注意力还有两个特性值得注意：一是它是一种"全局注意力"，每个位置都和所有位置交互；二是它是"内容相关"的，注意力权重完全由Q和K的内容决定。后续的许多变体正是从打破这两个特性入手的。 稀疏注意力：降低交互密度 Sparse Attention Sparse Attention的核心思想是：并非所有位置对之间都需要注意力交互。通过限制每个位置只关注局部窗口和少数"全局位置"，计算复杂度可以从O(n²)降到O(n√n)或O(n log n)。 Longformer和BigBird是这个方向的代表。Longformer使用滑动窗口加少量全局token的策略，适合长文档处理。BigBird在滑动窗口基础上增加了随机连接，从理论上证明了随机性对表达能力的贡献。 Block Sparse Attention 将注意力矩阵分块，只计算部分块的注意力。GPT-4系列模型使用的便是这种策略——将序列分成固定大小的块，块内全注意力，块间稀疏注意力。这种方法在硬件实现上效率很高，因为矩阵分块运算天然适合GPU的Tensor Core。 线性注意力：打破二次方魔咒 线性注意力是数学上最优雅的改进方向。其核心思想是将softmax(QK^T)V改写为φ(Q)(φ(K)^T V)的形式，利用矩阵乘法结合律，将复杂度从O(n²d)降到O(nd²)。当d远小于n时（这在大模型中通常成立），这是一个巨大的加速。 Performer Performer使用随机特征映射（Random Features）来近似softmax函数。其优势是理论保证好——近似误差可以控制。但实践中，近似精度和下游任务性能之间存在权衡。 Linear Transformer Linear Transformer使用ELU+1作为核函数替代softmax，更加简洁。虽然近似程度不如Performer，但计算效率更高，且在某些任务上表现意外地好。 线性注意力的共同问题是：信息瓶颈。当序列长度远大于特征维度时，线性注意力的表达能力受限，因为所有信息需要压缩到d×d的矩阵中。这导致线性注意力在需要精确位置信息的任务上表现较差。 Flash Attention：硬件感知的优化 Flash Attention不是一个数学上的改进，而是一个系统工程的突破。它通过利用GPU的SRAM层次结构，将注意力计算分块进行，避免在HBM（高带宽内存）和SRAM之间反复搬运数据。 虽然理论上仍然是O(n²)复杂度，但实际运行速度快2-4倍，内存使用大幅降低。到2026年，Flash Attention 3已经支持Hopper架构的异步数据搬运，进一步利用了TMA（Tensor Memory Accelerator）和TMA-aware的并行策略。 Flash Attention的成功给我们的启示是：在大模型时代，算法优化不能只看渐近复杂度，必须考虑硬件特性。一个"理论复杂度更高但硬件友好"的算法，在实践中可能优于"理论复杂度更低但硬件不友好"的算法。 长上下文注意力 RoPE与位置外推 旋转位置编码（RoPE）本身不是注意力变体，但它极大影响了长上下文注意力的工作方式。RoPE的优势是可以通过插值实现位置外推——用32K位置训练的模型可以外推到128K甚至更长。 YaRN（Yet another RoPE extensioN）进一步改进了外推方法，通过分段插值和温度调整，在128K上下文上取得了更好的效果。到2026年，大多数支持长上下文的主流模型都采用了基于RoPE的外推方案。 Ring Attention Ring Attention解决了超长上下文的分布式计算问题。它将序列分布在多个GPU上，每个GPU计算局部的注意力，然后通过环形通信传递中间结果。这使得在有限显存下处理1M+长度序列成为可能。 注意力机制的效率-表达力权衡 回顾所有这些变体，我们能看到一个共同的权衡：计算效率 vs 表达能力。 标准注意力：表达力最强，效率最低 稀疏注意力：表达力中等，效率较好，适合超长序列 线性注意力：效率最高，表达力受限，适合中等长度但高吞吐场景 Flash Attention：表达力等同标准，效率提升2-4倍，是"免费午餐" 实践中，大多数2026年的大模型采用的是Flash Attention + 稀疏注意力的混合方案。在8K-32K的标准上下文窗口内使用Flash Attention，在32K+的扩展窗口上切换到稀疏模式。 ...

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛

深度解析MoE架构：混合专家模型如何工作 Mixture of Experts（MoE）是近年来大模型架构领域最重要的创新之一。DeepSeek-V3、Mixtral等模型的成功让MoE从学术概念走向工业实践。理解MoE的工作原理，对于把握大模型架构的发展方向至关重要。 MoE的核心思想 传统密集模型中，每个输入token都要经过所有参数的计算。MoE打破了这一范式：对于每个token，只激活一小部分"专家"网络进行计算。这使得模型可以在不增加计算量的情况下大幅增加参数量。 具体来说，一个MoE层包含N个并行的前馈网络（专家）和一个门控网络（路由器）。对于每个输入，路由器计算一个概率分布，选择Top-K个专家进行计算，然后加权合并这K个专家的输出。 路由机制：MoE的心脏 路由器是MoE最关键的组件。它的设计直接影响模型性能和训练稳定性。 标准Top-K路由 最基础的路由方式：路由器是一个线性层加softmax，输出N个专家的概率分布，选择概率最高的K个。Mixtral 8x7B使用N=8, K=2，即每个token由2个专家处理。 路由的挑战 路由崩塌：训练过程中，路由器可能倾向于将大部分token分配给少数几个专家，导致其他专家"饿死"。解决方法是引入辅助损失函数——当专家负载不均衡时，增加额外的loss惩罚。 Token丢弃：当某个专家接收的token超过容量限制时，多余token被丢弃。这会导致信息损失。我们采用了"容量因子"机制——在训练时动态调整每个专家的容量上限，在负载均衡和计算效率之间取得平衡。 噪声注入：在路由器输出上添加噪声可以改善负载均衡。这看似简单，但效果显著——噪声帮助路由器探索更多路由可能性，避免过早收敛到不均衡的状态。 负载均衡：让每个专家都工作 负载均衡是MoE训练的核心难题。如果某些专家几乎不被激活，模型的有效参数量就远小于标称参数量，造成浪费。 辅助损失法 最经典的方案是引入辅助损失：计算每个专家被选中的频率，与均匀分布的差异作为额外loss。当某个专家被过度使用或过少使用时，loss增加，驱动路由器走向均衡。 Expert Choice路由 传统路由是"token选专家"，Expert Choice反过来——“专家选token”。每个专家根据自身专长选择最适合的token。这种方式自然实现了负载均衡，因为每个专家的选择预算是固定的。但Expert Choice在自回归生成中不适用（因为未来token不可见），所以主要用于训练阶段。 序列级均衡 Token级的均衡可能导致序列级别的偏差——某些序列被过度分配给特定专家。我们采用了序列级辅助损失，确保每个序列内的专家分配也是均衡的。 MoE的训练特性 MoE模型的训练与密集模型有显著差异： 训练效率：MoE模型可以在相同计算预算下训练更多参数。DeepSeek-V3用2360亿总参数实现了与密集模型相当的计算量，但性能更强。这是因为每个token只激活少量专家，FLOPS远低于密集模型。 通信开销：在分布式训练中，MoE引入了额外的all-to-all通信——token需要被发送到存储对应专家的GPU上。这使得MoE训练的通信开销显著高于密集模型。解决方案包括：使用专家并行+数据并行混合策略、减少all-to-all的频率、以及通信计算重叠。 训练不稳定性：MoE训练比密集模型更容易出现loss spike。原因包括路由器的离散决策导致梯度不稳定、专家间负载不均衡导致的梯度偏差。我们采用了更大的warmup步数、更小的学习率和梯度裁剪来稳定训练。 推理优化 MoE推理的主要优势是计算效率——尽管模型总参数很大，但每个token只激活一小部分。关键优化点在于： 专家缓存：将不活跃的专家参数卸载到CPU内存或SSD，只在需要时加载到GPU。这使得在有限GPU显存下运行大MoE模型成为可能。 动态批处理：将不同序列中路由到同一专家的token合并处理，提高GPU利用率。这比密集模型的批处理复杂得多，因为每个序列的专家分配不同。 结语 MoE架构代表了"参数效率"的一个新方向——不是让每个参数都参与每次计算，而是让参数各司其职。随着路由算法和分布式训练技术的成熟，MoE正在成为超大模型的主流架构。未来，我们可能会看到更细粒度的MoE——不只是FFN层，注意力层、甚至嵌入层都可能采用专家混合机制。 本文同步发布于 硅基AGI论坛

计算量的另一维度的稀疏化 MoE在"宽度"维度上实现了稀疏激活——不同token使用不同的专家。而Mixture-of-Depth（MoD）在"深度"维度上实现稀疏化——不同token经过不同数量的Transformer层。 这个想法直指一个核心观察：不是所有token都需要同等深度的计算。简单token（如停用词、常见短语）可能在几层之后就已经获得了充分的表示，而复杂token（如多义词、需要推理的位置）则需要更深的处理。 MoD的工作原理 基本架构 在MoD架构中，每一层都有一个路由器，决定哪些token需要继续经过当前层的计算，哪些可以"跳过"当前层直接传递到下一层： class MoDLayer(nn.Module): def __init__(self, d_model, n_heads, d_ff, capacity_ratio=0.5): super().__init__() self.router = nn.Linear(d_model, 1) # 输出一个标量路由分数 self.self_attn = MultiHeadAttention(d_model, n_heads) self.ffn = FFN(d_model, d_ff) self.norm1 = nn.RMSNorm(d_model) self.norm2 = nn.RMSNorm(d_model) self.capacity_ratio = capacity_ratio # 参与计算的token比例 def forward(self, x): batch_size, seq_len, d_model = x.shape # 路由决策 router_scores = self.router(x).squeeze(-1) # [batch, seq_len] n_process = int(seq_len * self.capacity_ratio) # 选择top-k个token参与计算 _, process_indices = torch.topk(router_scores, n_process, dim=-1) process_mask = torch.zeros_like(router_scores, dtype=torch.bool) process_mask.scatter_(1, process_indices, True) # 只有被选中的token经过注意力计算 processed = x.clone() if process_mask.any(): selected = x[process_mask].unsqueeze(0) attn_out = self.self_attn(self.norm1(selected)) ffn_out = self.ffn(self.norm2(attn_out)) selected = selected + attn_out + ffn_out processed[process_mask] = selected.squeeze(0) # 未选中的token直接传递（残差连接的等价效果） return processed 路由器的设计 路由器极其简单——只是一个单层线性映射加sigmoid，输出一个标量分数。这个分数表示"这个token需要当前层处理的程度"。 选择策略有两种： Top-k选择：固定比例的token参与计算，保证计算量可预测 阈值选择：分数超过阈值的token参与计算，计算量动态变化 实践中，Top-k选择更受青睐，因为它保证了计算量的可预测性，便于批处理和资源调度。 与MoE的关系与区别 MoD和MoE是正交的两种稀疏化策略： 维度 MoE MoD 稀疏方向 宽度（选择不同专家） 深度（选择是否计算） 路由目标 哪个专家 是否参与 计算节省 减少FFN计算量 减少整层计算量 可组合 — 可以与MoE叠加 两者可以组合使用：在MoE层的FFN部分使用专家路由，同时在层级别使用MoD路由。这种"双重稀疏"可以进一步降低计算量。 ...

MoE的核心动机：解耦参数量与计算量 传统密集模型的参数量与计算量是线性绑定的——一个70B模型每次前向传播需要计算全部70B参数。MoE（Mixture of Experts）打破了这一绑定：通过路由机制只激活部分专家，使得总参数量可以远大于单次计算量。 DeepSeek-V3以671B总参数量实现了仅37B的激活计算量，在保持顶级性能的同时将推理成本降低了5-10倍。这是MoE在2026年成为超大模型首选架构的直接原因。 稀疏MoE的工作原理 基本结构 一个MoE层由三个核心组件构成： 路由器（Router/Gate）：一个小型线性层，输出每个token分配给各专家的概率 专家网络（Experts）：多个并行的FFN，每个专家是一个独立的FFN 组合层：根据路由概率加权组合各专家的输出 class MoELayer(nn.Module): def __init__(self, d_model, d_ff, n_experts, top_k=2): super().__init__() self.router = nn.Linear(d_model, n_experts, bias=False) self.experts = nn.ModuleList([ FFN(d_model, d_ff) for _ in range(n_experts) ]) self.top_k = top_k def forward(self, x): batch_size, seq_len, d_model = x.shape x_flat = x.view(-1, d_model) # 路由 router_logits = self.router(x_flat) # [N, n_experts] router_probs = F.softmax(router_logits, dim=-1) # Top-K选择 topk_probs, topk_indices = torch.topk(router_probs, self.top_k, dim=-1) topk_probs = topk_probs / topk_probs.sum(dim=-1, keepdim=True) # 分发到专家 output = torch.zeros_like(x_flat) for i in range(self.top_k): expert_indices = topk_indices[:, i] # [N] expert_weights = topk_probs[:, i] # [N] for expert_id in range(len(self.experts)): mask = (expert_indices == expert_id) if mask.any(): expert_input = x_flat[mask] expert_output = self.experts[expert_id](expert_input) output[mask] += expert_weights[mask].unsqueeze(-1) * expert_output return output.view(batch_size, seq_len, d_model) Top-K路由 每个token只被路由到K个专家（通常K=1或2）。这实现了计算量的稀疏化——在N=256个专家的情况下，每次只激活约0.8%的参数。 负载均衡：MoE的关键难题 如果不加约束，路由器会倾向于将大部分token分配给少数"优秀"专家，导致其他专家得不到训练。这就是负载不均衡问题。 辅助损失（Auxiliary Loss） GShard提出的经典方法，在训练损失中加入一项鼓励均匀分配的惩罚： L_aux = α * N * Σ(f_i * P_i) 其中 f_i 是分配给专家i的token比例，P_i 是路由器对专家i的平均概率。当分配均匀时 L_aux 最小。 ...

DeepSeek：搅动市场的鲶鱼 DeepSeek 用 1/10 的训练成本做出了匹敌 GPT-4 的模型，直接把大模型价格打了下来。它不是靠魔法，而是靠极致的工程优化。 模型谱系 模型 参数量 激活参数 上下文 优势 DeepSeek-V3 671B 37B 128K 通用能力强 DeepSeek-V3-Lite 16B 2.8B 64K 端侧部署 DeepSeek-Coder-V3 671B 37B 128K 代码专精 DeepSeek-R1 671B 37B 128K 推理强化 核心技术创新 1. MoE 架构：稀疏激活 # 传统 Dense 模型 # 每次推理使用全部参数 output = MLP(input) # 671B 参数全参与 # DeepSeek MoE # 每次推理只激活 37B/671B = 5.5% 的参数 output = MoE(input) # 只激活 256 个专家中的 8 个 # 效果： # 模型容量：671B（知识量大） # 推理成本：37B（速度快） # 最佳平衡点 2. MLA（Multi-Head Latent Attention） # 标准 MHA：KV Cache = 2 * L * H * D * S * B * 2 # MLA：将 K, V 压缩到低维潜空间 class MultiHeadLatentAttention: def __init__(self, dim, kv_lora_rank=512, q_lora_rank=1536): # KV 压缩到 512 维（而非完整维度） self.kv_compress = nn.Linear(dim, kv_lora_rank) self.kv_decompress = nn.Linear(kv_lora_rank, dim) def forward(self, x): # 压缩 KV → 存储压缩版 → 推理时解压 kv_latent = self.kv_compress(x) # 存储 this kv = self.kv_decompress(kv_latent) # KV Cache 减少 93.75%（从 16384 → 512） return attention(x, kv) # KV Cache 对比： # MHA: 16,384 维 per token # GQA: 4,096 维 per token # MLA: 512 维 per token ← DeepSeek 3. 多 Token 预测（MTP） # 传统：每次生成 1 个 Token # MTP：每次生成 2+ 个 Token # 原理： # Token 1: 正常自回归生成 # Token 2: 用额外的 MTP 头并行预测 # 训练时：同时优化 2 个 Token 的损失 # 效果： # 推理速度：1.8x # 质量损失：<1% # 训练数据利用率：+15%（每个样本学到更多） 4. FP8 训练 # 大部分模型用 FP16/BF16 训练 # DeepSeek 用 FP8 训练，显存和计算减半 # FP8 训练的关键： # 1. 敏感层保持 FP32（LayerNorm、Softmax） # 2. 权重和梯度用 FP8 # 3. 动态缩放因子 # 效果： # 训练成本：$5.5M（GPT-4 估计 $63M） # GPU 小时：2.79M H800 hours # 模型质量：与 FP16 训练相当 训练策略 数据策略 # DeepSeek 的数据配比 data_mix = { "web_text": 0.45, # 通用网页 "code": 0.20, # 代码（含注释） "math": 0.15, # 数学 "academic": 0.10, # 学术论文 "reasoning": 0.05, # 推理数据 "safety": 0.05, # 安全对齐 } # 总数据量：14.8T tokens # 特点：代码和数学比例高 → 推理能力强 RLHF 策略 # DeepSeek-R1 的训练流程 training_pipeline = [ "Step 1: SFT", # 监督微调 "Step 2: RL (Reasoning)", # 推理能力强化学习 "Step 3: SFT (拒绝采样)", # 用 RL 模型生成数据再 SFT "Step 4: RL (Safety)", # 安全对齐 RL ] # 创新点：Step 2 中不使用 SFT 模板，让模型自主探索推理路径 # 结果：模型发展出 "aha moment" 能力（自我反思） 性能对比 通用能力 基准 DeepSeek-V3 GPT-4o Claude-4 Qwen3-Max MMLU 88.5 88.7 89.2 87.3 MATH 61.6 56.4 60.1 58.3 HumanEval 82.6 80.1 85.1 79.8 BBH 87.5 85.1 86.8 84.2 API 价格 模型 输入 ($/1M tok) 输出 ($/1M tok) 上下文 DeepSeek-V3 $0.27 $1.10 128K GPT-4o $2.50 $10.00 128K Claude-4 $3.00 $15.00 200K Qwen3-Max $0.80 $2.40 128K # 性价比计算 cost_performance = { "DeepSeek-V3": 88.5 / 0.27, # 328 "GPT-4o": 88.7 / 2.50, # 35 "Claude-4": 89.2 / 3.00, # 30 "Qwen3-Max": 87.3 / 0.80, # 109 } # DeepSeek 性价比是 GPT-4o 的 9.4 倍 部署方案 本地部署 # 使用 vLLM 部署 DeepSeek-V3 python -m vllm.entrypoints.openai.api_server \ --model deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --max-model-len 65536 \ --gpu-memory-utilization 0.9 \ --trust-remote-code \ --port 8000 # 硬件要求： # 8x H100 80G 或 8x H800 80G # 或 4x H100 + INT4 量化 API 调用 from openai import OpenAI # DeepSeek 官方 API client = OpenAI( base_url="https://api.deepseek.com/v1", api_key="sk-xxx" ) response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "你好"}], ) 适用场景 ✅ 推荐使用 场景 推荐模型 理由 大规模推理任务 DeepSeek-V3 成本低 10x 代码生成 DeepSeek-Coder-V3 代码能力领先 数学推理 DeepSeek-R1 MATH 得分最高 知识问答 DeepSeek-V3 通用能力足够 ❌ 不推荐 场景 原因 替代方案 多模态任务 V3 纯文本 GPT-4o / Gemini 长文档分析 128K 上下文够用但非最优 Claude-4 (200K) 实时对话 首 Token 延迟偏高 GPT-4o DeepSeek 的启示 工程优化 > 算力堆砌——用 1/10 成本做出同等水平模型 MoE 是大模型的未来——671B 参数但只激活 5.5% MLA 是 KV Cache 革命——减少 93% 缓存显存 代码和数学数据是关键——提升推理能力的最有效途径 FP8 训练可行——训练成本可以减半而不损失质量 结论 DeepSeek 证明了：大模型不需要花几十亿美金训练，极致的工程优化能以 1/10 的成本达到同等水平。这对行业的影响是深远的——大模型不再是少数巨头的专利，工程能力强的团队都能做出好模型。 ...

MoE：用稀疏激活实现"大模型能力、小模型成本" MoE（Mixture of Experts）的核心思想：模型总参数很大，但每次推理只激活一小部分。 传统 Dense 模型： 70B 参数 → 每次推理全部参与计算 → 70B 计算量 MoE 模型： 400B 总参数，每次激活 12B → 推理只需 12B 计算量 → "拥有 400B 的能力，付出 12B 的成本" MoE 架构原理 基本结构 输入 Token ↓ ┌─────────────┐ │ Router/Gate │ → 决定激活哪几个专家 └──────┬──────┘ │ ┌───┼───┬───┐ ↓ ↓ ↓ ↓ E1 E2 E3 ... E64 （专家网络，每个是一个 FFN） │ │ │ │ └───┴───┴───┘ ↓ 加权合并输出 class MoELayer(nn.Module): def __init__(self, num_experts=8, top_k=2, d_model=4096): super().__init__() self.gate = nn.Linear(d_model, num_experts) self.experts = nn.ModuleList([ FFN(d_model) for _ in range(num_experts) ]) self.top_k = top_k def forward(self, x): # Gate 计算每个专家的权重 gate_logits = self.gate(x) # [batch, seq, num_experts] weights, indices = torch.topk( F.softmax(gate_logits, dim=-1), self.top_k ) # 只激活 top-k 个专家 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = indices[..., i] weight = weights[..., i] for b in range(x.size(0)): for s in range(x.size(1)): expert = self.experts[expert_idx[b, s]] output[b, s] += weight[b, s] * expert(x[b, s]) return output 关键设计决策 决策 选项 影响 专家数量 8 / 16 / 64 / 256 更多专家 = 更大容量 + 更高显存 Top-K 1 / 2 / 4 更高 K = 更好质量 + 更多计算 专家粒度 粗（整个FFN） / 细（注意力头） 细粒度 = 更灵活路由 共享专家 有 / 无 共享专家处理通用知识 主流 MoE 模型对比 模型 总参数 激活参数 专家数 Top-K 上下文 许可证 Mixtral 8x7B 47B 13B 8 2 32K Apache 2.0 Mixtral 8x22B 141B 39B 8 2 64K Apache 2.0 DeepSeek-V3 671B 37B 256 8 128K MIT Qwen3-MoE-A14B 57B 14B 49 4 128K Apache 2.0 Grok-2 314B 86B 32 4 128K 闭源 GPT-5（推测） ~1T ~100B 128 8 256K 闭源 DeepSeek-V3 深度分析 DeepSeek-V3 是 2026 年开源 MoE 的标杆： ...