DeepSeek 模型家族概览

DeepSeek(深度求索)凭借极具性价比的 MoE 架构和创新的推理模型设计,成为开源大模型领域的重要力量。其模型矩阵分为两条产品线:

  • 通用模型线:DeepSeek-V2 → V3 → V3.1,面向对话、写作、代码等通用任务
  • 推理模型线:DeepSeek-R1,专攻数学、逻辑、科学推理

两者共享基础架构,但在训练策略和推理行为上有本质区别。

DeepSeek-V3 架构解析

DeepSeek-V3 是总参数 671B、激活参数 37B 的 MoE 模型,其架构创新点值得关注:

MLA(Multi-head Latent Attention)

V3 使用了 DeepSeek 自创的 MLA 注意力机制,替代标准 MHA:

class MultiHeadLatentAttention(nn.Module):
    def __init__(self, d_model, n_heads, d_latent=512):
        self.down_proj = nn.Linear(d_model, d_latent)  # 降维到潜在空间
        self.up_proj = nn.Linear(d_latent, d_model)    # 升维回原空间
        self.n_heads = n_heads
        # KV Cache 只需存储 d_latent 维度,而非 d_model 维度
        # 显存占用减少约 93%

    def forward(self, x):
        latent = self.down_proj(x)        # [batch, seq, d_latent]
        # 推理时只需缓存 latent 向量
        k_v = self.up_proj(latent)        # 按需恢复
        return attention(q=x, k=k_v, v=k_v)

MLA 的核心优势:KV Cache 压缩率高达 93%,这意味着相同显存可以服务更多并发请求。

细粒度 MoE 路由

  • 256 个路由专家 + 1 个共享专家
  • 每个 token 激活 8 个专家
  • 采用无辅助损失的负载均衡策略,避免专家坍塌

训练效率

DeepSeek-V3 仅用 14.8T tokens 训练,总训练成本约 557 万美元(2048 张 H800),远低于同级别模型。这得益于:

  • FP8 混合精度训练
  • DualPipe 流水线并行
  • 高效的 MoE 路由算法

DeepSeek-R1 推理模型

R1 是基于 V3 基座模型,通过 RL(强化学习)训练出的推理模型。

训练流程

V3 基座 → R1-Zero(纯 RL)→ R1(SFT+RL 多阶段)

R1-Zero 直接在 V3 上做 RL,证明了基座模型已具备推理潜力。但 R1-Zero 输出可读性差,因此 R1 采用了更精细的多阶段训练:

  1. 冷启动 SFT:用少量高质量 CoT 数据初始化
  2. 推理导向 RL:以正确性为奖励信号
  3. 拒绝采样 SFT:筛选 RL 产生的高质量样本
  4. 全场景 RL:扩展到非推理任务

性能对比

基准 DeepSeek-V3 DeepSeek-R1 GPT-4o o1
MMLU 88.5 90.8 88.7 91.8
MATH 61.6 97.3 76.6 96.4
GPQA 59.1 71.5 53.6 75.1
Codeforces Rating 51.6 96.3 23.6 89.1
AIME 2024 39.2 79.8 9.3 74.4

R1 在数学竞赛(AIME)和编程竞赛(Codeforces)上表现惊人,超越 o1 的部分指标。

推理行为

R1 默认输出长链式推理(CoT),平均输出 token 数是 V3 的 5-8 倍:

{
  "model": "deepseek-r1",
  "messages": [{"role": "user", "content": "求方程 x^4-5x^2+4=0 的所有实数解"}],
  "stream": true
}

响应中会包含 <think>...</think> 推理过程,然后是最终答案。API 调用时可选择是否返回 thinking 内容。

API vs 本地部署

API 调用(推荐大多数场景)

DeepSeek API 的定价极具竞争力:

模型 输入价格 输出价格 备注
DeepSeek-V3 2 元/百万 token 8 元/百万 token 缓存命中 0.5 元
DeepSeek-R1 4 元/百万 token 16 元/百万 token 含 thinking token
from openai import OpenAI

client = OpenAI(
    api_key="your-api-key",
    base_url="https://api.deepseek.com/v1"
)

# V3 通用对话
resp = client.chat.completions.create(
    model="deepseek-chat",  # 指向 V3
    messages=[{"role": "user", "content": "用 Python 实现一个 LRU 缓存"}],
    temperature=0.7
)

# R1 推理任务
resp = client.chat.completions.create(
    model="deepseek-reasoner",  # 指向 R1
    messages=[{"role": "user", "content": "设计一个算法在 O(n) 时间内找到数组中第 K 大的元素"}],
    # R1 不支持 temperature 等采样参数
)

本地部署

V3 本地部署门槛极高(需 8×A100 80GB),但蒸馏版本可单卡运行:

蒸馏模型 基座 参数量 显存(FP16) 显存(INT4)
DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5 1.5B ~3 GB ~1.5 GB
DeepSeek-R1-Distill-Qwen-7B Qwen2.5 7B ~14 GB ~5 GB
DeepSeek-R1-Distill-Qwen-32B Qwen2.5 32B ~64 GB ~20 GB
DeepSeek-R1-Distill-Llama-70B Llama3.3 70B ~140 GB ~40 GB
# 使用 SGLang 部署蒸馏版 R1
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --port 30000 \
  --tp 4 \
  --mem-fraction-static 0.9

成本分析

以 100 万次 API 调用(平均每次 2000 输入 + 1000 输出 token)为例:

方案 月成本 适用场景
DeepSeek-V3 API 2000 元 通用对话、内容生成
DeepSeek-R1 API 6000 元 复杂推理、数学、代码
GPT-4o API ~14000 元 多模态、英文为主
Claude 4 Opus API ~22000 元 长文档、高质量代码

DeepSeek 的成本优势约 3-10 倍,是国内性价比最高的 API 选择之一。

适用场景决策

场景 推荐模型 理由
通用对话/客服 V3 响应快、成本低
数学/逻辑推理 R1 CoT 推理能力强
代码生成 V3 或 R1 简单代码用 V3,复杂算法用 R1
中文写作 V3 中文表达自然
边缘部署 R1-Distill-7B 单卡可运行,保留推理能力
高并发服务 V3 API MLA 降低推理成本

总结

DeepSeek 通过 MLA + 细粒度 MoE 实现了极致的推理效率,V3 是通用任务的性价比之王,R1 则在推理领域达到顶尖水平。对于国内开发者,DeepSeek API 是成本效益最优的选择。需要离线部署时,R1 蒸馏系列提供了从 1.5B 到 70B 的完整梯度。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞,认知差异创造无限可能。