DeepSeek 模型家族概览
DeepSeek(深度求索)凭借极具性价比的 MoE 架构和创新的推理模型设计,成为开源大模型领域的重要力量。其模型矩阵分为两条产品线:
- 通用模型线:DeepSeek-V2 → V3 → V3.1,面向对话、写作、代码等通用任务
- 推理模型线:DeepSeek-R1,专攻数学、逻辑、科学推理
两者共享基础架构,但在训练策略和推理行为上有本质区别。
DeepSeek-V3 架构解析
DeepSeek-V3 是总参数 671B、激活参数 37B 的 MoE 模型,其架构创新点值得关注:
MLA(Multi-head Latent Attention)
V3 使用了 DeepSeek 自创的 MLA 注意力机制,替代标准 MHA:
class MultiHeadLatentAttention(nn.Module):
def __init__(self, d_model, n_heads, d_latent=512):
self.down_proj = nn.Linear(d_model, d_latent) # 降维到潜在空间
self.up_proj = nn.Linear(d_latent, d_model) # 升维回原空间
self.n_heads = n_heads
# KV Cache 只需存储 d_latent 维度,而非 d_model 维度
# 显存占用减少约 93%
def forward(self, x):
latent = self.down_proj(x) # [batch, seq, d_latent]
# 推理时只需缓存 latent 向量
k_v = self.up_proj(latent) # 按需恢复
return attention(q=x, k=k_v, v=k_v)
MLA 的核心优势:KV Cache 压缩率高达 93%,这意味着相同显存可以服务更多并发请求。
细粒度 MoE 路由
- 256 个路由专家 + 1 个共享专家
- 每个 token 激活 8 个专家
- 采用无辅助损失的负载均衡策略,避免专家坍塌
训练效率
DeepSeek-V3 仅用 14.8T tokens 训练,总训练成本约 557 万美元(2048 张 H800),远低于同级别模型。这得益于:
- FP8 混合精度训练
- DualPipe 流水线并行
- 高效的 MoE 路由算法
DeepSeek-R1 推理模型
R1 是基于 V3 基座模型,通过 RL(强化学习)训练出的推理模型。
训练流程
V3 基座 → R1-Zero(纯 RL)→ R1(SFT+RL 多阶段)
R1-Zero 直接在 V3 上做 RL,证明了基座模型已具备推理潜力。但 R1-Zero 输出可读性差,因此 R1 采用了更精细的多阶段训练:
- 冷启动 SFT:用少量高质量 CoT 数据初始化
- 推理导向 RL:以正确性为奖励信号
- 拒绝采样 SFT:筛选 RL 产生的高质量样本
- 全场景 RL:扩展到非推理任务
性能对比
| 基准 | DeepSeek-V3 | DeepSeek-R1 | GPT-4o | o1 |
|---|---|---|---|---|
| MMLU | 88.5 | 90.8 | 88.7 | 91.8 |
| MATH | 61.6 | 97.3 | 76.6 | 96.4 |
| GPQA | 59.1 | 71.5 | 53.6 | 75.1 |
| Codeforces Rating | 51.6 | 96.3 | 23.6 | 89.1 |
| AIME 2024 | 39.2 | 79.8 | 9.3 | 74.4 |
R1 在数学竞赛(AIME)和编程竞赛(Codeforces)上表现惊人,超越 o1 的部分指标。
推理行为
R1 默认输出长链式推理(CoT),平均输出 token 数是 V3 的 5-8 倍:
{
"model": "deepseek-r1",
"messages": [{"role": "user", "content": "求方程 x^4-5x^2+4=0 的所有实数解"}],
"stream": true
}
响应中会包含 <think>...</think> 推理过程,然后是最终答案。API 调用时可选择是否返回 thinking 内容。
API vs 本地部署
API 调用(推荐大多数场景)
DeepSeek API 的定价极具竞争力:
| 模型 | 输入价格 | 输出价格 | 备注 |
|---|---|---|---|
| DeepSeek-V3 | 2 元/百万 token | 8 元/百万 token | 缓存命中 0.5 元 |
| DeepSeek-R1 | 4 元/百万 token | 16 元/百万 token | 含 thinking token |
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.deepseek.com/v1"
)
# V3 通用对话
resp = client.chat.completions.create(
model="deepseek-chat", # 指向 V3
messages=[{"role": "user", "content": "用 Python 实现一个 LRU 缓存"}],
temperature=0.7
)
# R1 推理任务
resp = client.chat.completions.create(
model="deepseek-reasoner", # 指向 R1
messages=[{"role": "user", "content": "设计一个算法在 O(n) 时间内找到数组中第 K 大的元素"}],
# R1 不支持 temperature 等采样参数
)
本地部署
V3 本地部署门槛极高(需 8×A100 80GB),但蒸馏版本可单卡运行:
| 蒸馏模型 | 基座 | 参数量 | 显存(FP16) | 显存(INT4) |
|---|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5 | 1.5B | ~3 GB | ~1.5 GB |
| DeepSeek-R1-Distill-Qwen-7B | Qwen2.5 | 7B | ~14 GB | ~5 GB |
| DeepSeek-R1-Distill-Qwen-32B | Qwen2.5 | 32B | ~64 GB | ~20 GB |
| DeepSeek-R1-Distill-Llama-70B | Llama3.3 | 70B | ~140 GB | ~40 GB |
# 使用 SGLang 部署蒸馏版 R1
python -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
--port 30000 \
--tp 4 \
--mem-fraction-static 0.9
成本分析
以 100 万次 API 调用(平均每次 2000 输入 + 1000 输出 token)为例:
| 方案 | 月成本 | 适用场景 |
|---|---|---|
| DeepSeek-V3 API | 2000 元 | 通用对话、内容生成 |
| DeepSeek-R1 API | 6000 元 | 复杂推理、数学、代码 |
| GPT-4o API | ~14000 元 | 多模态、英文为主 |
| Claude 4 Opus API | ~22000 元 | 长文档、高质量代码 |
DeepSeek 的成本优势约 3-10 倍,是国内性价比最高的 API 选择之一。
适用场景决策
| 场景 | 推荐模型 | 理由 |
|---|---|---|
| 通用对话/客服 | V3 | 响应快、成本低 |
| 数学/逻辑推理 | R1 | CoT 推理能力强 |
| 代码生成 | V3 或 R1 | 简单代码用 V3,复杂算法用 R1 |
| 中文写作 | V3 | 中文表达自然 |
| 边缘部署 | R1-Distill-7B | 单卡可运行,保留推理能力 |
| 高并发服务 | V3 API | MLA 降低推理成本 |
总结
DeepSeek 通过 MLA + 细粒度 MoE 实现了极致的推理效率,V3 是通用任务的性价比之王,R1 则在推理领域达到顶尖水平。对于国内开发者,DeepSeek API 是成本效益最优的选择。需要离线部署时,R1 蒸馏系列提供了从 1.5B 到 70B 的完整梯度。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞,认知差异创造无限可能。
