V4 架构创新:从 MoE 到 Dynamic Sparse Attention

DeepSeek V4 没有沿用 V3 的 Dense 架构,也没有简单跟随主流 MoE 路线,而是提出了Dynamic Sparse Attention (DSA) 机制——一种在注意力层面做动态稀疏化的方法。

传统 MoE 在 FFN 层做专家路由,每个 token 只激活部分参数。DSA 则在 attention 层引入类似思路:每个 token 动态选择与哪些历史 token 计算注意力,而非对全部上下文做 full attention。这使得 1M 上下文的推理成本从 O(n²) 降低到接近 O(n·log n)。

架构特性V3V4
注意力机制Full AttentionDynamic Sparse Attention
FFN 架构DenseMoE (256 专家,激活 8)
参数总量671B892B
激活参数671B (全激活)37B (稀疏激活)
上下文窗口128K1M
训练 tokens14.8T22T

V4 的总参数量达到 892B,但每次推理只激活 37B 参数——这意味着它的推理成本接近一个 37B 的 Dense 模型,但能力上限接近 892B 参数的模型。这是 MoE 架构的核心优势,V4 将这一优势从 FFN 层扩展到了 attention 层。

1M 上下文窗口:不只是数字

1M tokens 约等于 75 万汉字,可以容纳:

  • 一整部《红楼梦》(约 73 万字)
  • 约 50 个大型 Python 项目(平均 2 万行代码)
  • 全部 API 文档 + 历史代码 + 测试用例

但长上下文的真正挑战不是「能不能装下」,而是「能不能用对」。长文本检索准确率(Needle-in-a-Haystack)是关键指标:

上下文长度V4 准确率GPT-5Gemini 3 Pro
32K99.2%99.5%99.1%
128K98.7%98.9%98.3%
512K96.1%94.2%95.8%
1M93.4%N/A (400K)91.2%

V4 在 512K 以上的长上下文检索中表现突出,这得益于 DSA 机制——动态稀疏化不仅降低计算量,还减少了长距离注意力的噪声干扰。

V4-Pro vs V4-Flash:双版本策略

DeepSeek 这次采用了双版本发布策略,与 Anthropic 的 Fable/Mythos 双轨类似但定位不同:

维度V4-ProV4-Flash
参数激活量37B12B
上下文窗口1M256K
推理速度 (tokens/s)85320
MMLU-Pro78.371.6
SWE-Bench68.254.7
API 输入价格$0.5/M$0.1/M
API 输出价格$2/M$0.4/M
适用场景复杂推理、长文档分析高频调用、实时对话

V4-Flash 的 320 tokens/s 输出速度是一个关键差异化——这比 GPT-5 的 95 tokens/s 快 3.4 倍,比 Fable 5 的 110 tokens/s 快 2.9 倍。对于需要实时响应的场景(客服 Agent、代码补全、流式翻译),这个速度差距是决定性的。

API 兼容性与迁移成本

DeepSeek V4 API 完全兼容 OpenAI API 格式,这意味着:

# 只需改一行代码
# 原来:
# client = OpenAI(api_key="sk-xxx", base_url="https://api.openai.com/v1")
# 改为:
client = OpenAI(api_key="sk-xxx", base_url="https://api.deepseek.com/v1")

response = client.chat.completions.create(
    model="deepseek-v4-pro",
    messages=[{"role": "user", "content": "Hello"}]
)

支持的功能包括:Function Calling、JSON Mode、Stream、Vision(图像输入)、Prompt Caching。唯一暂不支持的是 Audio 输入输出。

成本优势:到底便宜多少

以一个典型的代码助手应用为例(日均 500 万次调用,平均每次 2000 输入 tokens + 500 输出 tokens):

模型月成本 (美元)相对倍数
GPT-5$2,475,0001.0x
Claude Fable 5$2,962,5001.2x
Gemini 3 Pro$1,485,0000.6x
DeepSeek V4-Pro$375,0000.15x
DeepSeek V4-Flash$75,0000.03x

V4-Flash 的成本是 GPT-5 的 1/33。即使能力指标低 15-20 个百分点,对于大量非关键路径的应用场景(FAQ 回答、简单代码补全、文档摘要),这个性价比是碾压性的。

与国际模型对比:国产模型的位置

综合能力排名(基于 2026 年 6 月公开基准):

排名模型综合分
1Claude Fable 591.7
2GPT-589.3
3Gemini 3 Pro88.1
4Claude Mythos 587.5
5DeepSeek V4-Pro83.6
6Gemini 3.5 Flash82.4
7Llama 4 405B80.2
8DeepSeek V4-Flash76.8

V4-Pro 的综合能力已进入全球前 5,在某些维度(长上下文检索、代码生成效率)甚至进入前 3。考虑到价格因素,V4-Pro 的「能力/价格比」是全球最高的——没有之一。

国产大模型的战略意义

V4 的意义不仅是技术指标。在当前地缘政治背景下,DeepSeek V4 证明了:

  1. 国产模型可以独立达到第一梯队:V4 从架构到训练完全自主,不依赖任何外部基座
  2. 成本结构可控:V4 的训练成本约 $580 万美元,不到 GPT-5 训练成本的 1/10
  3. 开源生态:V4-Flash 权重已开源(MIT 协议),V4-Pro 提供免费 API 额度

这不是「中国版 GPT」——这是一个有独立技术路线、有明确成本优势、有开源承诺的竞争者。对于需要在大规模场景中部署 AI 能力的企业,DeepSeek V4 值得认真评估。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞,认知差异创造无限可能。