MoE

十月十五日，阶跃星辰按此前承诺正式开源 Step 5 Preview 完整模型权重。参数规模：稀疏 MoE 总参数六千亿，单 token 激活约二百七十亿，上下文长度一百万 token，支持图文输入，重点场景是 AI 编程、金融与 Agent。在 Artificial Analysis 综合智能指数上，它进入全球开源模型前三。 这个规格在开源界什么位置？ 六千亿总参数、二百七十亿激活，这个量级在闭源世界是 GPT-6 级别的故事，在开源世界还很少见。配合百万上下文，它可以一次读完一整套代码库或者一摞财报。激活比约百分之四点五，意味着推理成本被压得很低——同样的算力能服务更多用户。 为什么选择这个时间点开源？ 背景是 DeepSeek 百亿融资、Qwen、GLM、Kimi 在开源赛道上的连续出牌。阶跃的选择很清楚：与其和闭源巨头拼 API，不如把权重放出去，用生态换标准。这是国产大模型的共同路径——用开源建立事实标准，再通过企业版、行业模型赚钱。 开发者接下来要试的：在单卡 80G 上能否跑起来；与 DeepSeek V4、Qwen3.5 在编程基准上的实际差距；以及它的 Agent 工具调用稳定性。权重一旦开源，就会被无数人微调、蒸馏、魔改，真正的考验不是发布日，是三个月后社区 fork 的数量。 六千亿开源权重意味着什么算力门槛？ 六千亿参数的 MoE，即使激活只有二百七十亿，本地推理也需要多张高端卡。这意味着 Step 5 Preview 不是给个人玩家的礼物，而是给云厂商和企业用户的开源底座。它的真正对手不是 Llama，而是 DeepSeek V4、Qwen3.5 这一代国产开源旗舰。对个人开发者来说，更现实的选择是等社区蒸馏出 70B 级别的衍生版本。但即便如此，Step 5 Preview 把开源模型的天花板又抬了一截，闭源 API 的定价权会再被挤压一次。 对开发者而言，更值得关心的是它的工具调用稳定性与中文长上下文的实际召回率。参数大不等于开箱即用，六千亿模型的部署与微调成本，仍然会把中小团队挡在门外。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论

10 月 8 日多家媒体跟进 DeepSeek 新一轮融资传闻，同日其更新日志里的 V4.1-Flash 技术细节被再度翻出。这是 DeepSeek 全新结构系列中最小的模型，却把总参数做到 552B 的 MoE 规模，同时原生支持多模态视觉理解。本文不聊融资，只拆它的架构为什么能又快又便宜。 DeepSeek-V4.1-Flash 为什么要做输入 8B、输出 16B 的非对称激活？ 主流 MoE 长期把每 token 的激活参数做成对称的一套专家路由，V4.1-Flash 改成了非对称：输入阶段激活约 8B 参数，输出阶段激活约 16B。直觉上，prefill 阶段要一口气吃掉整段上下文，算力吃紧，少激活一点专家；decode 阶段逐个吐 token，带宽吃紧却需要更强的生成能力，于是多激活一点。这种把「算得动」与「写得好」分开定价的做法，本质是把 MoE 的路由开销按前后台重新分配。 配合全新的 Causal-Encoder-Decoder 结构，它不再是 V4-Flash 的增量改版，而是一次结构换代，上下文给到 1M tokens，最大输出 384K tokens。 CSA 与 HCA 是怎么把百万上下文压下来的？ V4 技术文档披露的另一组关键改动是混合注意力：Compressed Sparse Attention（CSA）负责压缩 KV，Heavily Compressed Attention（HCA）做更激进的压缩。二者叠加，让百万级上下文不再等于线性膨胀的显存账。保留自 V3 的多 Token 预测（MTP）继续在训练侧帮助收敛。 GPQA 90.9、HLE 36.8 这个坐标说明它在什么水平？ 更新日志给出的参考点是 GPQA Diamond 90.9、HLE 36.8。前者说明理科推理已摸到第一梯队，后者提醒最难开放题仍远未解决。对工程团队而言，真正的信号是：这套结构被设计成「能力上限更高、速度更快、吞吐更大、可扩展到更大模型」——V4.1-Flash 是新结构的试金石，更大的型号已在路上。 这套架构折算到部署上意味着什么？ 把这套架构折算成部署选择：552B 总参但只激活 8B 到 16B，意味着单 token 计算量远小于同规模稠密模型，吞吐天然占优；百万上下文叠加 CSA 与 HCA 压缩，又把 KV 膨胀控制在可接受范围。两者相乘，才是它敢把缓存命中价压到极低的工程底气。需要注意的是，非对称激活对并行策略有要求——输入与输出走不同专家集合，张量并行与专家并行的切分必须配套，否则容易出现负载不均。上线前务必压测不同并发下的尾延迟，别只看标称吞吐。 ...

Unsloth 是 2026 年微调圈绕不开的开源项目：官方口径是训练提速约 2 倍、省约 70% 显存；三月进一步宣布 MoE 模型微调提速约 12 倍、省超 35% 显存、上下文拉长约 6 倍，且精度无损；AMD 平台七月跟进，GRPO 类强化学习显存省约 80%。很多人把它当「一键加速脚本」，但它真正的壁垒在编译内核与数学改写。 12 倍从哪来 Unsloth 不依赖现成的 PyTorch 算子，而是为 MoE 架构手写 Triton 内核，并配合一系列数学重排。MoE 微调慢，本来是因为专家路由带来不规则的计算图与显存碎片；Unsloth 的新内核把这些不规则操作融合成更少的 kernel launch，减少显存往返。它支持 gpt-oss、Qwen3（30B/235B/VL/Coder）、DeepSeek R1/V3、GLM 等主流架构。 长上下文是另一套功夫 针对长上下文训练，Unsloth 的 Flex Attention 宣称比 FlashAttention 3 还多拉长 8 倍上下文、省 50% 以上显存；在 H100 上可以 QLoRA 4bit 训练 gpt-oss-20b 到 290K 上下文，开启 Tiled MLP 后冲到 50 万 token。这意味着「长文档微调」不再是多卡集群的专利。 为什么今天值得重新关注 九月之后新模型（Qwen3.8、gpt-oss 系）密集发布，Unsloth 几乎做到 day-0 适配，还把 Blackwell NVFP4 精度一起支持了。对小团队，这等于在单张甚至消费级显卡上完成以前需要机房的微调实验——Qwen3.5 在 AMD 上号称 3GB 显存可跑。 ...

跑 MoE 模型的人都见过一个怪现象：模型总参数巨大，但每个 token 只激活一小部分，GPU 利用率却上不去。NVIDIA 技术博客点破了原因——高交互场景下，MoE 的执行时间被专家权重加载时间卡住，而不是被矩阵乘法本身。这就是 WideEP（Wide Expert Parallel）要解决的问题。 decode 阶段的带宽地狱 生成阶段每一步，路由器只挑出少数几个专家（比如 671B 里激活约 37B）。问题是：被选中的专家权重要从显存里读进来，才能做这一步计算。专家越大、越分散，每一步的权重读取量就越接近「把整个模型读一遍」。 换句话说，MoE 在 decode 阶段退化成了内存带宽问题：算力（FLOPS）严重闲置，时间全花在把专家权重从 HBM 搬到计算单元上。 WideEP 的解法 传统专家并行把所有专家放在一组卡上，每个 decode step 要跨这组卡集体通信。WideEP 反过来：把专家切分到 NVL72 机架内更多节点上并行，缩短单个专家的加载路径，用机架级 NVLink 的高带宽抵消跨卡成本。配合前面提到的 EP64DP3 这类配置，专家被摊得足够开，每步加载时间显著下降。 为什么 2026 年才规模化 这不是算法创新，是基础设施创新。没有 NVL72 这种把几十张卡做成一个统一域的机架、没有 HBM4 的容量、没有 Dynamo 把 prefill/decode 拆开各自配拓扑，WideEP 就是纸上谈兵。MoE 模型（DeepSeek-V4、Qwen3.8 这类）与机架级硬件是同步成熟的。 给实践者的提醒 如果你在自建 MoE 服务，监控面板里别只看 GPU 算力利用率，要看 decode 阶段的显存带宽饱和率。如果带宽先打满、算力空着，说明你需要的不是更多卡，而是更合理的专家切分拓扑。 另一个实务建议是按请求类型分流。计算密集的批量任务与带宽敏感的交互式生成，最好路由到不同拓扑的资源池，而不是挤在同一批卡上互相抢带宽。这与 Dynamo 的分离式思路一脉相承：把负载画像摸清楚，再决定怎么切专家。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：MoE 专家并行

NVIDIA 自家 FAQ 页挂着一个让人愣一下的数字：在 GB300 NVL72 上跑 DeepSeek-R1 671B，按 SemiAnalysis InferenceX 口径，每百万 token 成本约 4 美分。这比通用模型的 0.123 美元还低一个数量级。差异不在模型大小，而在拓扑——NVIDIA 官方示例给出的配置是：上下文阶段用 EP4DP16，生成阶段用 EP64DP3。这串缩写是 2026 年 MoE 推理最核心的工程决策。 MoE 推理的两次瓶颈 DeepSeek-R1 是混合专家（MoE）模型：总参数 671B，但每个 token 只激活约 37B。这带来两个截然不同的瓶颈。 Prefill（上下文处理）：要把整段输入过一遍网络，每个 token 路由到不同专家，计算密集，但对延迟容忍度稍高。 Decode（逐 token 生成）：每步只出一个 token，但要快速把被路由专家的权重从显存里读出来，带宽密集，对延迟极其敏感。 同一张 GPU 池子里混跑这两个阶段，会互相拖累：长上下文 prefill 堵住 decode 的排队，decode 的小批次又浪费 prefill 的算力。 EP4DP16 与 EP64DP3 在干什么 EP 是专家并行，DP 是数据并行。官方示例里，上下文阶段用 EP4DP16：4 组专家并行、16 路数据并行，偏计算效率；生成阶段切到 EP64DP3：64 路专家并行、3 路数据并行，把专家权重尽量铺开，缩短每步加载时间。 这不是简单的「切更多卡」。它要求调度层在同一请求生命周期里切换并行拓扑，把 prefill 完的 KV cache 从一组卡安全搬到另一组卡——Dynamo 的分离式路由、NVLink 的机架内带宽，都是为这件事服务的。 ...

10 月 6 日，法国 Mistral AI 冷不丁甩出旗舰新模型 Mistral Large 4，内部代号 Le Chonk（肥猫），当天以公开预览版上线 Mistral Studio。这是 Mistral 迄今最大的模型：约 1.05 万亿总参数的原生多模态混合专家（MoE）模型，每 token 激活约 49B 参数，配一个约 16 亿参数的视觉编码器，上下文窗口号称百万 token。按官方计划，权重将于 10 月底开放。 参数表里的关键信号 几个数字值得做模型的人记住：总参数约 1.05 万亿、激活 49B（含嵌入与输出层约 52B），视觉编码器 16 亿；第三方实测上下文约落在 512K 到 524K；API 定价约每百万输入 token 1.36 美元、输出 4.18 美元。基准方面，DeepSWE v1.1 约 61.7%，盲评总分 3.74、排在 Claude Opus 5 之后；在网络安全相关测试中进入全球前五，复现漏洞并打补丁得分约 82%。 它主打编码、网络安全、金融、法律与图像理解，训练动用了约 4000 块英伟达 Grace Blackwell 级机柜。 它真正想打的是谁 Mistral 自己说得直白：这是要对标最强的中国开源权重模型。过去一年，DeepSeek、Qwen、GLM 等中国开源模型在全球开发者中攻城略地，欧洲一直缺少一个体量相当、又能自主掌控的旗舰。Le Chonk 的意义不在跑分碾压，而在「开源阵营里多一个非中国选项」。 从架构看，它是指令与推理混合的细粒度专家模型，天生兼顾指令跟随、推理与智能体能力。官方把安全、金融、法律、图像理解当作主打场景，说明它瞄准的是企业级私有化部署，而不是普通聊天。 这波发布的时机也很讲究：就在 GPT-6 全量推送、Claude 小模型降价的同一周。Mistral 选在这个窗口扔出万亿模型，明显是想在媒体注意力最集中的时候，让全球开发者记住欧洲也有自己的旗舰。 ...

问题：稠密模型的算力墙 大模型越训越大，但稠密 Transformer 有个硬约束：每来一个 token，全部参数都要参与计算。于是参数翻倍，推理算力也近似翻倍——70B 模型就已经吃掉不少显存，再往上堆，单卡根本扛不住。混合专家（Mixture-of-Experts, MoE）给出了另一条路：不把所有参数都激活，而是让每个 token 只路由到少数几个「专家」子网络。这样总参数量可以做得极大，但每次计算只动用其中一小部分，用稀疏激活换取参数规模的暴涨。 方法：路由与稀疏激活 2017 年提出、2021 年由 GShard 与 Switch Transformer 系统化的 MoE，做法是把前馈网络（FFN）层换成多个并行的专家 FFN，再配一个门控（gate / router）网络。门控对每个 token 算它该分给哪几个专家，通常只选 top-2 个。比如一个 8 专家、每 token 激活 2 个的层，总参数量是 8 份，但每次计算只跑 2 份。这就是「总参数大、激活参数小」的来源。 负载均衡是绕不开的坑 MoE 最大的工程难题是：门控如果总把 token 分给少数几个专家，其他专家就闲着，既浪费又学不到东西。所以训练里要加负载均衡损失，强迫 token 均匀分布到各专家。DeepSeek 系列进一步提出细粒度专家与共享专家：把专家切得更细，再留几个所有 token 都用的共享专家，既提升了路由灵活性，又减少了冗余。Mixtral-8x7b 则用极简的 top-2 路由，证明稀疏 MoE 能在开放权重圈跑通，推理成本却远低于同质量的稠密模型。 结论：能力与成本的权衡 MoE 的结论很清晰：在同等激活算力下，MoE 能训出比稠密模型强得多的能力，因为它的总知识容量大得多。DeepSeek-V3、Qwen 等 2024 年后的强模型普遍采用 MoE，总参数百 B 而激活只几 B 到几十 B。但代价也实在：一是显存，所有专家权重都得装在显存里，总参数大意味着推理时显存占用并不低；二是路由不稳定、专家崩塌等训练工程问题。所以 MoE 不是免费午餐，它把「算力墙」换成了「显存墙与工程墙」。 收束 MoE 的核心洞见是：不是所有 token 都需要动用所有能力。把模型拆成各司其职的专家，按需调用，是 scaling law 之外另一条扩模思路。理解「总参数 vs 激活参数」这组概念，再看 DeepSeek 这类模型的成本优势，就不会被「320B 但只要几十 B 算力」的宣传绕晕——它强，是因为参数多；它便宜，是因为每次只醒一小部分。 ...

一条被打到地板的价格曲线 今年春天，大模型 API 市场经历了一场不可逆的重构。4 月下旬，DeepSeek 宣布全系 API 降价，输入缓存命中价格直接降到首发价的十分之一；其中 V4-Pro 版本叠加限时活动，百万 tokens 输入缓存命中价低至约 0.025 元，创下全球大模型价格新低。紧接着 5 月下旬，V4-Pro 又把永久价降到原价的约四分之一；6 月初，腾讯云大幅跟降。短短十多天里两轮降价，把整个行业的定价中枢拽下了一个台阶。 这不是烧钱补贴，是结构成本 和过去「亏大钱抢用户」的补贴战不同，这一轮降价有真实的成本基础。DeepSeek-V4 采用稀疏 MoE 架构，并在注意力机制上做了新的工程优化，让单次推理激活的参数量远小于总参数量；更关键的是，它深度适配国产昇腾算力，把硬件采购与调度成本压了下来。技术优化加国产协同，构成了对手短期内难以复制的结构性优势——跟进者要追平，往往需要半年以上的架构重构。 对开发者是真红利还是陷阱 表面上看，缓存命中价打到近乎免费，意味着长文档、长对话场景的成本断崖式下降：客服机器人、代码补全、批量摘要这类高频调用，账单直接少一个数量级。但要注意两个前提：一是「缓存命中」才有地板价，未命中的输入和输出仍是正常计费；二是超低价往往伴随严格的速率限制和并发配额，做大规模服务前必须先压测吞吐。便宜的是单价，不是总账单。 收束 DeepSeek 这场降价，本质是把「智能」从奢侈品打成了水电煤。当调用一次推理便宜到可以忽略不计，应用层的想象力就被彻底打开——过去因为算不过账而不敢做的高频功能，现在都敢上线试错了。对创业公司，这是 2026 年最确定的利好；对大厂，这是必须正面接招的价格压力。 去论坛讨论 关于「DeepSeek降价」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

9月10日，DeepSeek正式发布V4.1 Flash。这款552B参数的MoE模型采用了全新的非对称Causal Encoder-Decoder架构，成为DeepSeek新架构系列中尺寸最小的成员，性能却超越了包括V4 Pro在内的一众旗舰。 架构亮点 552B总参数：输入时激活约8B，输出时激活约16B 非对称架构：Causal Encoder-Decoder，输入输出激活不同 196B Engram记忆表：独立的记忆参数表 原生多模态：支持视觉理解 1M上下文：超长上下文窗口 缓存优化 最引人注目的优化是长文本缓存硬盘占用降低88%。这意味着： 部署成本大幅下降 长文本处理速度提升 企业级部署门槛降低 Agent能力 Terminal Bench 2.1从Preview版的61.8提升到82.7，DeepSWE从7.3飙升到54.4。Agentic能力的质变让DeepSeek V4.1 Flash成为开发Agent应用的首选模型之一。 开源协议 MIT协议开放权重，已上线Hugging Face。这对开发者社区是重大利好。

硅基速览 9月10日，DeepSeek正式发布V4.1 Flash，552B参数MoE架构，预填充阶段每token仅激活8B，MIT协议开源。 在多数Agentic编程基准上，V4.1 Flash超越了DeepSeek自家的V4 Pro旗舰模型，长文本缓存硬盘占用暴降88%。 API定价：低谷时段$0.15/百万输入token、$0.60/百万输出token，9月14日起V4 Pro流量自动路由到V4.1 Flash。 正文 一个"小而强"的新架构 2026年9月10日，据36氪和智东西报道，DeepSeek正式发布DeepSeek V4.1 Flash。这是DeepSeek全新模型架构系列中尺寸最小的成员，但性能上却超越了包括V4 Pro在内的一众旗舰模型。 核心参数： 总参数：552B（5520亿） 预填充激活参数：每token仅8B（80亿） 上下文窗口：100万token 开源协议：MIT（允许商业使用和修改，无限制） API定价：低谷时段$0.15/百万输入token、$0.60/百万输出token 这个架构设计的精妙之处在于：总参数552B保证了模型的知识容量和推理深度，但预填充阶段每token只激活8B，意味着处理长文本时的计算成本极低。这种"大总参+小激活"的MoE设计，让DeepSeek在"长文本理解"和"低成本推理"之间找到了一个非常好的平衡点。 为什么Flash能反超Pro 传统的MoE模型升级路径是"下一代旗舰 > 上一代旗舰"。但DeepSeek V4.1 Flash作为"尺寸最小"的新成员，却在多数Agentic编程基准上反超了自家旗舰V4 Pro。这背后是架构层面的改进，而非简单的堆参数。 根据LLMCheck在9月7日的开源模型状态报告，V4.1 Flash的关键改进包括： MoE路由算法优化。 新的路由机制让激活的专家更精准地匹配任务类型，减少了"路由到错误专家"的浪费。在编程任务上，V4.1 Flash能更准确地路由到代码专家模块，从而在SWE-bench等基准上取得高分。 长文本缓存压缩。 这是最实用的改进。据36氪报道，V4.1 Flash的长文本缓存（KV Cache）硬盘占用比上一代暴降88%。这意味着同样的服务器硬件，能服务4倍以上的长文本用户。对于运行DeepSeek API的企业来说，这直接转化为推理成本的下降。 视觉能力首次加入。 V4.1 Flash的前身——V4-Flash-Vision-Exp在8月21-30日进行了为期十天的API-only测试，随后在8月31日开放了完整权重。V4.1 Flash继承了视觉输入能力，成为DeepSeek V4系列中第一个支持图像输入的模型。 对开源生态的冲击 V4.1 Flash采用MIT协议开源，这在2026年的前沿模型中非常罕见。大多数前沿模型要么完全闭源（GPT、Claude），要么使用有商业限制的开源协议（Llama的社区许可）。MIT协议意味着任何公司都可以自由使用、修改、商用，无需支付版权费。 这个策略对开源生态的影响立竿见影： 本地部署门槛降低。 552B总参数、8B激活的MoE设计，让V4.1 Flash可以在Mac Studio（256GB内存，2-bit量化）上运行。据LLMCheck报告，753B/40B激活级别的模型已经可以在Mac Studio上跑2-bit量化任务，V4.1 Flash的激活参数更小，本地部署体验更好。 云推理成本下降。 MIT开源让云厂商（AWS、Azure、阿里云、火山引擎）可以自由部署V4.1 Flash作为托管服务。多家云厂商已经宣布在9月14日V4.1 Flash GA后，将V4 Pro的API流量自动路由到V4.1 Flash，因为后者在多数任务上表现相当甚至更好，但成本更低。 开发者工具集成加速。 Hugging Face、vLLM、SGLang等推理框架在发布后48小时内就完成了对V4.1 Flash的支持。GitHub上已经出现了大量基于V4.1 Flash的Agent项目——从代码审查到自动化测试，开发者在用最低的成本构建最强的Agent应用。 Kimi K3：另一个开源巨兽 与DeepSeek同期，月之暗面发布的Kimi K3也在开源社区引起轰动。根据TensorFeed在9月14日的开源模型排行榜，Kimi K3是目前已发布的最大开源权重模型：总参数2.8T（2.8万亿），每token激活104B。 ...