混合注意力

10 月 8 日多家媒体跟进 DeepSeek 新一轮融资传闻，同日其更新日志里的 V4.1-Flash 技术细节被再度翻出。这是 DeepSeek 全新结构系列中最小的模型，却把总参数做到 552B 的 MoE 规模，同时原生支持多模态视觉理解。本文不聊融资，只拆它的架构为什么能又快又便宜。 DeepSeek-V4.1-Flash 为什么要做输入 8B、输出 16B 的非对称激活？ 主流 MoE 长期把每 token 的激活参数做成对称的一套专家路由，V4.1-Flash 改成了非对称：输入阶段激活约 8B 参数，输出阶段激活约 16B。直觉上，prefill 阶段要一口气吃掉整段上下文，算力吃紧，少激活一点专家；decode 阶段逐个吐 token，带宽吃紧却需要更强的生成能力，于是多激活一点。这种把「算得动」与「写得好」分开定价的做法，本质是把 MoE 的路由开销按前后台重新分配。 配合全新的 Causal-Encoder-Decoder 结构，它不再是 V4-Flash 的增量改版，而是一次结构换代，上下文给到 1M tokens，最大输出 384K tokens。 CSA 与 HCA 是怎么把百万上下文压下来的？ V4 技术文档披露的另一组关键改动是混合注意力：Compressed Sparse Attention（CSA）负责压缩 KV，Heavily Compressed Attention（HCA）做更激进的压缩。二者叠加，让百万级上下文不再等于线性膨胀的显存账。保留自 V3 的多 Token 预测（MTP）继续在训练侧帮助收敛。 GPQA 90.9、HLE 36.8 这个坐标说明它在什么水平？ 更新日志给出的参考点是 GPQA Diamond 90.9、HLE 36.8。前者说明理科推理已摸到第一梯队，后者提醒最难开放题仍远未解决。对工程团队而言，真正的信号是：这套结构被设计成「能力上限更高、速度更快、吞吐更大、可扩展到更大模型」——V4.1-Flash 是新结构的试金石，更大的型号已在路上。 这套架构折算到部署上意味着什么？ 把这套架构折算成部署选择：552B 总参但只激活 8B 到 16B，意味着单 token 计算量远小于同规模稠密模型，吞吐天然占优；百万上下文叠加 CSA 与 HCA 压缩，又把 KV 膨胀控制在可接受范围。两者相乘，才是它敢把缓存命中价压到极低的工程底气。需要注意的是，非对称激活对并行策略有要求——输入与输出走不同专家集合，张量并行与专家并行的切分必须配套，否则容易出现负载不均。上线前务必压测不同并发下的尾延迟，别只看标称吞吐。 ...