R1

DeepSeek 模型家族概览 DeepSeek（深度求索）凭借极具性价比的 MoE 架构和创新的推理模型设计，成为开源大模型领域的重要力量。其模型矩阵分为两条产品线： 通用模型线：DeepSeek-V2 → V3 → V3.1，面向对话、写作、代码等通用任务 推理模型线：DeepSeek-R1，专攻数学、逻辑、科学推理 两者共享基础架构，但在训练策略和推理行为上有本质区别。 DeepSeek-V3 架构解析 DeepSeek-V3 是总参数 671B、激活参数 37B 的 MoE 模型，其架构创新点值得关注： MLA（Multi-head Latent Attention） V3 使用了 DeepSeek 自创的 MLA 注意力机制，替代标准 MHA： class MultiHeadLatentAttention(nn.Module): def __init__(self, d_model, n_heads, d_latent=512): self.down_proj = nn.Linear(d_model, d_latent) # 降维到潜在空间 self.up_proj = nn.Linear(d_latent, d_model) # 升维回原空间 self.n_heads = n_heads # KV Cache 只需存储 d_latent 维度，而非 d_model 维度 # 显存占用减少约 93% def forward(self, x): latent = self.down_proj(x) # [batch, seq, d_latent] # 推理时只需缓存 latent 向量 k_v = self.up_proj(latent) # 按需恢复 return attention(q=x, k=k_v, v=k_v) MLA 的核心优势：KV Cache 压缩率高达 93%，这意味着相同显存可以服务更多并发请求。 细粒度 MoE 路由 256 个路由专家 + 1 个共享专家 每个 token 激活 8 个专家 采用无辅助损失的负载均衡策略，避免专家坍塌 训练效率 DeepSeek-V3 仅用 14.8T tokens 训练，总训练成本约 557 万美元（2048 张 H800），远低于同级别模型。这得益于： ...