DeepSeek 技术解析：开源大模型的性价比之王

# 传统 Dense 模型
# 每次推理使用全部参数
output = MLP(input)  # 671B 参数全参与

# DeepSeek MoE
# 每次推理只激活 37B/671B = 5.5% 的参数
output = MoE(input)   # 只激活 256 个专家中的 8 个

# 效果：
# 模型容量：671B（知识量大）
# 推理成本：37B（速度快）
# 最佳平衡点

# 标准 MHA：KV Cache = 2 * L * H * D * S * B * 2
# MLA：将 K, V 压缩到低维潜空间

class MultiHeadLatentAttention:
    def __init__(self, dim, kv_lora_rank=512, q_lora_rank=1536):
        # KV 压缩到 512 维（而非完整维度）
        self.kv_compress = nn.Linear(dim, kv_lora_rank)
        self.kv_decompress = nn.Linear(kv_lora_rank, dim)
    
    def forward(self, x):
        # 压缩 KV → 存储压缩版 → 推理时解压
        kv_latent = self.kv_compress(x)  # 存储 this
        kv = self.kv_decompress(kv_latent)
        # KV Cache 减少 93.75%（从 16384 → 512）
        return attention(x, kv)

# KV Cache 对比：
# MHA:  16,384 维 per token
# GQA:  4,096 维 per token
# MLA:    512 维 per token  ← DeepSeek

# 传统：每次生成 1 个 Token
# MTP：每次生成 2+ 个 Token

# 原理：
# Token 1: 正常自回归生成
# Token 2: 用额外的 MTP 头并行预测
# 训练时：同时优化 2 个 Token 的损失

# 效果：
# 推理速度：1.8x
# 质量损失：<1%
# 训练数据利用率：+15%（每个样本学到更多）

# 大部分模型用 FP16/BF16 训练
# DeepSeek 用 FP8 训练，显存和计算减半

# FP8 训练的关键：
# 1. 敏感层保持 FP32（LayerNorm、Softmax）
# 2. 权重和梯度用 FP8
# 3. 动态缩放因子

# 效果：
# 训练成本：$5.5M（GPT-4 估计 $63M）
# GPU 小时：2.79M H800 hours
# 模型质量：与 FP16 训练相当

# DeepSeek 的数据配比
data_mix = {
    "web_text": 0.45,        # 通用网页
    "code": 0.20,            # 代码（含注释）
    "math": 0.15,            # 数学
    "academic": 0.10,        # 学术论文
    "reasoning": 0.05,       # 推理数据
    "safety": 0.05,          # 安全对齐
}

# 总数据量：14.8T tokens
# 特点：代码和数学比例高 → 推理能力强

# DeepSeek-R1 的训练流程
training_pipeline = [
    "Step 1: SFT",          # 监督微调
    "Step 2: RL (Reasoning)", # 推理能力强化学习
    "Step 3: SFT (拒绝采样)",  # 用 RL 模型生成数据再 SFT
    "Step 4: RL (Safety)",    # 安全对齐 RL
]

# 创新点：Step 2 中不使用 SFT 模板，让模型自主探索推理路径
# 结果：模型发展出 "aha moment" 能力（自我反思）

# 性价比计算
cost_performance = {
    "DeepSeek-V3": 88.5 / 0.27,   # 328
    "GPT-4o":      88.7 / 2.50,   # 35
    "Claude-4":    89.2 / 3.00,   # 30
    "Qwen3-Max":   87.3 / 0.80,   # 109
}
# DeepSeek 性价比是 GPT-4o 的 9.4 倍

# 使用 vLLM 部署 DeepSeek-V3
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-V3 \
  --tensor-parallel-size 8 \
  --max-model-len 65536 \
  --gpu-memory-utilization 0.9 \
  --trust-remote-code \
  --port 8000

# 硬件要求：
# 8x H100 80G 或 8x H800 80G
# 或 4x H100 + INT4 量化

from openai import OpenAI

# DeepSeek 官方 API
client = OpenAI(
    base_url="https://api.deepseek.com/v1",
    api_key="sk-xxx"
)

response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[{"role": "user", "content": "你好"}],
)