V4 架构创新:从 MoE 到 Dynamic Sparse Attention

DeepSeek V4 没有沿用 V3 的 Dense 架构,也没有简单跟随主流 MoE 路线,而是提出了Dynamic Sparse Attention (DSA) 机制——一种在注意力层面做动态稀疏化的方法。

传统 MoE 在 FFN 层做专家路由,每个 token 只激活部分参数。DSA 则在 attention 层引入类似思路:每个 token 动态选择与哪些历史 token 计算注意力,而非对全部上下文做 full attention。这使得 1M 上下文的推理成本从 O(n²) 降低到接近 O(n·log n)。

架构特性 V3 V4
注意力机制 Full Attention Dynamic Sparse Attention
FFN 架构 Dense MoE (256 专家,激活 8)
参数总量 671B 892B
激活参数 671B (全激活) 37B (稀疏激活)
上下文窗口 128K 1M
训练 tokens 14.8T 22T

V4 的总参数量达到 892B,但每次推理只激活 37B 参数——这意味着它的推理成本接近一个 37B 的 Dense 模型,但能力上限接近 892B 参数的模型。这是 MoE 架构的核心优势,V4 将这一优势从 FFN 层扩展到了 attention 层。

1M 上下文窗口:不只是数字

1M tokens 约等于 75 万汉字,可以容纳:

  • 一整部《红楼梦》(约 73 万字)
  • 约 50 个大型 Python 项目(平均 2 万行代码)
  • 全部 API 文档 + 历史代码 + 测试用例

但长上下文的真正挑战不是「能不能装下」,而是「能不能用对」。长文本检索准确率(Needle-in-a-Haystack)是关键指标:

上下文长度 V4 准确率 GPT-5 Gemini 3 Pro
32K 99.2% 99.5% 99.1%
128K 98.7% 98.9% 98.3%
512K 96.1% 94.2% 95.8%
1M 93.4% N/A (400K) 91.2%

V4 在 512K 以上的长上下文检索中表现突出,这得益于 DSA 机制——动态稀疏化不仅降低计算量,还减少了长距离注意力的噪声干扰。

V4-Pro vs V4-Flash:双版本策略

DeepSeek 这次采用了双版本发布策略,与 Anthropic 的 Fable/Mythos 双轨类似但定位不同:

维度 V4-Pro V4-Flash
参数激活量 37B 12B
上下文窗口 1M 256K
推理速度 (tokens/s) 85 320
MMLU-Pro 78.3 71.6
SWE-Bench 68.2 54.7
API 输入价格 $0.5/M $0.1/M
API 输出价格 $2/M $0.4/M
适用场景 复杂推理、长文档分析 高频调用、实时对话

V4-Flash 的 320 tokens/s 输出速度是一个关键差异化——这比 GPT-5 的 95 tokens/s 快 3.4 倍,比 Fable 5 的 110 tokens/s 快 2.9 倍。对于需要实时响应的场景(客服 Agent、代码补全、流式翻译),这个速度差距是决定性的。

API 兼容性与迁移成本

DeepSeek V4 API 完全兼容 OpenAI API 格式,这意味着:

# 只需改一行代码
# 原来:
# client = OpenAI(api_key="sk-xxx", base_url="https://api.openai.com/v1")
# 改为:
client = OpenAI(api_key="sk-xxx", base_url="https://api.deepseek.com/v1")

response = client.chat.completions.create(
    model="deepseek-v4-pro",
    messages=[{"role": "user", "content": "Hello"}]
)

支持的功能包括:Function Calling、JSON Mode、Stream、Vision(图像输入)、Prompt Caching。唯一暂不支持的是 Audio 输入输出。

成本优势:到底便宜多少

以一个典型的代码助手应用为例(日均 500 万次调用,平均每次 2000 输入 tokens + 500 输出 tokens):

模型 月成本 (美元) 相对倍数
GPT-5 $2,475,000 1.0x
Claude Fable 5 $2,962,500 1.2x
Gemini 3 Pro $1,485,000 0.6x
DeepSeek V4-Pro $375,000 0.15x
DeepSeek V4-Flash $75,000 0.03x

V4-Flash 的成本是 GPT-5 的 1/33。即使能力指标低 15-20 个百分点,对于大量非关键路径的应用场景(FAQ 回答、简单代码补全、文档摘要),这个性价比是碾压性的。

与国际模型对比:国产模型的位置

综合能力排名(基于 2026 年 6 月公开基准):

排名 模型 综合分
1 Claude Fable 5 91.7
2 GPT-5 89.3
3 Gemini 3 Pro 88.1
4 Claude Mythos 5 87.5
5 DeepSeek V4-Pro 83.6
6 Gemini 3.5 Flash 82.4
7 Llama 4 405B 80.2
8 DeepSeek V4-Flash 76.8

V4-Pro 的综合能力已进入全球前 5,在某些维度(长上下文检索、代码生成效率)甚至进入前 3。考虑到价格因素,V4-Pro 的「能力/价格比」是全球最高的——没有之一。

国产大模型的战略意义

V4 的意义不仅是技术指标。在当前地缘政治背景下,DeepSeek V4 证明了:

  1. 国产模型可以独立达到第一梯队:V4 从架构到训练完全自主,不依赖任何外部基座
  2. 成本结构可控:V4 的训练成本约 $580 万美元,不到 GPT-5 训练成本的 1/10
  3. 开源生态:V4-Flash 权重已开源(MIT 协议),V4-Pro 提供免费 API 额度

这不是「中国版 GPT」——这是一个有独立技术路线、有明确成本优势、有开源承诺的竞争者。对于需要在大规模场景中部署 AI 能力的企业,DeepSeek V4 值得认真评估。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞,认知差异创造无限可能。