V4

V4 架构创新：从 MoE 到 Dynamic Sparse Attention DeepSeek V4 没有沿用 V3 的 Dense 架构，也没有简单跟随主流 MoE 路线，而是提出了Dynamic Sparse Attention (DSA) 机制——一种在注意力层面做动态稀疏化的方法。 传统 MoE 在 FFN 层做专家路由，每个 token 只激活部分参数。DSA 则在 attention 层引入类似思路：每个 token 动态选择与哪些历史 token 计算注意力，而非对全部上下文做 full attention。这使得 1M 上下文的推理成本从 O(n²) 降低到接近 O(n·log n)。 架构特性 V3 V4 注意力机制 Full Attention Dynamic Sparse Attention FFN 架构 Dense MoE (256 专家，激活 8) 参数总量 671B 892B 激活参数 671B (全激活) 37B (稀疏激活) 上下文窗口 128K 1M 训练 tokens 14.8T 22T V4 的总参数量达到 892B，但每次推理只激活 37B 参数——这意味着它的推理成本接近一个 37B 的 Dense 模型，但能力上限接近 892B 参数的模型。这是 MoE 架构的核心优势，V4 将这一优势从 FFN 层扩展到了 attention 层。 ...