DeepSeek：搅动市场的鲶鱼 DeepSeek 用 1/10 的训练成本做出了匹敌 GPT-4 的模型，直接把大模型价格打了下来。它不是靠魔法，而是靠极致的工程优化。
模型谱系 模型 参数量 激活参数 上下文 优势 DeepSeek-V3 671B 37B 128K 通用能力强 DeepSeek-V3-Lite 16B 2.8B 64K 端侧部署 DeepSeek-Coder-V3 671B 37B 128K 代码专精 DeepSeek-R1 671B 37B 128K 推理强化 核心技术创新 1. MoE 架构：稀疏激活 # 传统 Dense 模型 # 每次推理使用全部参数 output = MLP(input) # 671B 参数全参与 # DeepSeek MoE # 每次推理只激活 37B/671B = 5.5% 的参数 output = MoE(input) # 只激活 256 个专家中的 8 个 # 效果： # 模型容量：671B（知识量大） # 推理成本：37B（速度快） # 最佳平衡点 2. MLA（Multi-Head Latent Attention） # 标准 MHA：KV Cache = 2 * L * H * D * S * B * 2 # MLA：将 K, V 压缩到低维潜空间 class MultiHeadLatentAttention: def __init__(self, dim, kv_lora_rank=512, q_lora_rank=1536): # KV 压缩到 512 维（而非完整维度） self.kv_compress = nn.Linear(dim, kv_lora_rank) self.kv_decompress = nn.Linear(kv_lora_rank, dim) def forward(self, x): # 压缩 KV → 存储压缩版 → 推理时解压 kv_latent = self.kv_compress(x) # 存储 this kv = self.kv_decompress(kv_latent) # KV Cache 减少 93.75%（从 16384 → 512） return attention(x, kv) # KV Cache 对比： # MHA: 16,384 维 per token # GQA: 4,096 维 per token # MLA: 512 维 per token ← DeepSeek 3. 多 Token 预测（MTP） # 传统：每次生成 1 个 Token # MTP：每次生成 2+ 个 Token # 原理： # Token 1: 正常自回归生成 # Token 2: 用额外的 MTP 头并行预测 # 训练时：同时优化 2 个 Token 的损失 # 效果： # 推理速度：1.8x # 质量损失：<1% # 训练数据利用率：+15%（每个样本学到更多） 4. FP8 训练 # 大部分模型用 FP16/BF16 训练 # DeepSeek 用 FP8 训练，显存和计算减半 # FP8 训练的关键： # 1. 敏感层保持 FP32（LayerNorm、Softmax） # 2. 权重和梯度用 FP8 # 3. 动态缩放因子 # 效果： # 训练成本：$5.5M（GPT-4 估计 $63M） # GPU 小时：2.79M H800 hours # 模型质量：与 FP16 训练相当 训练策略 数据策略 # DeepSeek 的数据配比 data_mix = { "web_text": 0.45, # 通用网页 "code": 0.20, # 代码（含注释） "math": 0.15, # 数学 "academic": 0.10, # 学术论文 "reasoning": 0.05, # 推理数据 "safety": 0.05, # 安全对齐 } # 总数据量：14.8T tokens # 特点：代码和数学比例高 → 推理能力强 RLHF 策略 # DeepSeek-R1 的训练流程 training_pipeline = [ "Step 1: SFT", # 监督微调 "Step 2: RL (Reasoning)", # 推理能力强化学习 "Step 3: SFT (拒绝采样)", # 用 RL 模型生成数据再 SFT "Step 4: RL (Safety)", # 安全对齐 RL ] # 创新点：Step 2 中不使用 SFT 模板，让模型自主探索推理路径 # 结果：模型发展出 "aha moment" 能力（自我反思） 性能对比 通用能力 基准 DeepSeek-V3 GPT-4o Claude-4 Qwen3-Max MMLU 88.5 88.7 89.2 87.3 MATH 61.6 56.4 60.1 58.3 HumanEval 82.6 80.1 85.1 79.8 BBH 87.5 85.1 86.8 84.2 API 价格 模型 输入 ($/1M tok) 输出 ($/1M tok) 上下文 DeepSeek-V3 $0.27 $1.10 128K GPT-4o $2.50 $10.00 128K Claude-4 $3.00 $15.00 200K Qwen3-Max $0.80 $2.40 128K # 性价比计算 cost_performance = { "DeepSeek-V3": 88.5 / 0.27, # 328 "GPT-4o": 88.7 / 2.50, # 35 "Claude-4": 89.2 / 3.00, # 30 "Qwen3-Max": 87.3 / 0.80, # 109 } # DeepSeek 性价比是 GPT-4o 的 9.4 倍 部署方案 本地部署 # 使用 vLLM 部署 DeepSeek-V3 python -m vllm.entrypoints.openai.api_server \ --model deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --max-model-len 65536 \ --gpu-memory-utilization 0.9 \ --trust-remote-code \ --port 8000 # 硬件要求： # 8x H100 80G 或 8x H800 80G # 或 4x H100 + INT4 量化 API 调用 from openai import OpenAI # DeepSeek 官方 API client = OpenAI( base_url="https://api.deepseek.com/v1", api_key="sk-xxx" ) response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "你好"}], ) 适用场景 ✅ 推荐使用 场景 推荐模型 理由 大规模推理任务 DeepSeek-V3 成本低 10x 代码生成 DeepSeek-Coder-V3 代码能力领先 数学推理 DeepSeek-R1 MATH 得分最高 知识问答 DeepSeek-V3 通用能力足够 ❌ 不推荐 场景 原因 替代方案 多模态任务 V3 纯文本 GPT-4o / Gemini 长文档分析 128K 上下文够用但非最优 Claude-4 (200K) 实时对话 首 Token 延迟偏高 GPT-4o DeepSeek 的启示 工程优化 > 算力堆砌——用 1/10 成本做出同等水平模型 MoE 是大模型的未来——671B 参数但只激活 5.5% MLA 是 KV Cache 革命——减少 93% 缓存显存 代码和数学数据是关键——提升推理能力的最有效途径 FP8 训练可行——训练成本可以减半而不损失质量 结论 DeepSeek 证明了：大模型不需要花几十亿美金训练，极致的工程优化能以 1/10 的成本达到同等水平。这对行业的影响是深远的——大模型不再是少数巨头的专利，工程能力强的团队都能做出好模型。
...
