DeepSeek

DeepSeek计划在内蒙古部署至少16万张华为昇腾950DT，园区按吉瓦级规划。国内首个国产GPU+类脑芯片大模型异构混合推理系统发布，Attention交国产GPU、FFN/MoE专家模块交类脑芯片。寒武纪上半年营收59.96亿元同比+108%，摩尔线程启动赴港上市。

OpenRouter最新数据显示，中国大模型周调用量61.17万亿Token，连续20周超越美国。DeepSeek V4.1 Flash发布三天冲入全球第六，552B参数MoE架构配合Causal-Encoder-Decoder新设计，将KV Cache对HBM的需求降至1/4。

一次影响存储芯片股价的模型架构升级 9月第一周，DeepSeek扔出两颗炸弹：一颗技术，一颗资本。 技术侧：新模型结构把KV Cache大幅压缩，直接改写了推理侧的硬件需求曲线； 资本侧：9月9日正式委托中信证券筹备科创板IPO，进入尽职调查阶段，首轮融资510亿元。 两件事看似独立，实则是同一套叙事的两面——DeepSeek要证明自己不仅是"便宜的模型"，而是"重新定义推理经济学的公司"。 KV Cache压缩：到底压缩了什么 要理解这次升级的冲击力，先得搞清楚KV Cache在推理时的角色。 一、推理成本的大头在哪 大模型推理时，每生成一个Token都要重新计算注意力。为了不重复计算历史Token，系统会把Key和Value缓存下来——这就是KV Cache。 在长上下文和Agent场景下： 一次对话可能缓存数万到数十万Token的KV 这些缓存必须放在**HBM（高带宽内存）**里，否则速度崩盘 Agent多轮工具调用时，同一份上下文被反复使用，缓存命中费用占单次调用成本的大头 二、DeepSeek的压缩倍率 新结构把KV Cache压缩到原来的1/4，带来连锁效应： HBM需求：降至原来的 1/4 SSD/外存分层需求：降至原来的 1/8 这意味着同样的算力集群，能服务的并发请求数直接翻了几倍。对Agent这种"长会话+高频调用"的场景，单次使用成本会出现量级下降。 三、为什么SK海力士跌了3% 消息传出当天，SK海力士股价跌超3%。逻辑很直接： HBM是SK海力士、三星、美光三家的核心利润来源 DeepSeek如果把"KV Cache压缩1/4"做成行业标准结构，下游客户对HBM的采购预期会下调 这不是一次性冲击，而是对未来2-3年HBM需求曲线的重新定价 科创板IPO：510亿首轮融资的底气 技术故事讲完，资本故事接棒。 一、为什么是科创板 科创板对"硬科技"公司的估值逻辑更友好，不要求短期盈利 国产大模型公司在国内资本市场有政策溢价 上市后可以用股票做股权激励，留住核心人才 二、510亿首轮融资意味着什么 这个数字对应的估值预期，已经把DeepSeek放到了"中国AI基础设施级公司"的位置。市场在赌两件事： 推理成本继续下探——每降低一个数量级，能打开的企业级市场就翻一倍 国产替代叙事——在海外芯片受限的背景下，DeepSeek的模型效率本身就是战略资产 对产业链的连锁影响 一、HBM/存储厂商 短期股价承压，但中长期看，模型推理总调用量在指数级增长，压缩后的KV Cache只是单位成本下降，总需求未必萎缩 关注三星、美光是否会跟进类似压缩结构，还是押注更大容量HBM3E/HBM4 二、云厂商和推理服务商 同样的GPU，能跑更多并发——毛利率会改善 但定价权会向下游转移：企业客户会要求按"压缩后成本"重新谈判合同 三、Agent开发者 这是最直接的受益者。长会话、多轮工具调用的成本会大幅下降 过去因为成本问题不敢做的"24小时挂机Agent"，现在经济账算得过来了 对开发者的实操建议 重新评估你的推理成本模型——如果你用DeepSeek API做Agent，等新结构上线后重跑一次成本测算 关注KV Cache命中率——Agent场景下，缓存命中率每提升10%，成本下降可能超过30% 不要把架构绑死在单一模型上——DeepSeek这次升级说明，推理侧的技术迭代速度比预训练还快 科创板IPO后关注生态开放——上市后通常会加大开发者生态投入，早期接入有红利 结语 DeepSeek这次"技术+资本"双响炮，本质上是在回答一个问题：大模型公司的护城河到底是什么？ 不是参数规模，不是跑分，而是单位智能的成本。当KV Cache压缩到1/4、HBM需求降到1/4，DeepSeek证明了自己能在推理侧持续制造结构性成本优势。 科创板IPO只是开始——真正的战场，是把这套成本优势变成企业级市场的定价权。

一周内的两条重磅消息 9月，DeepSeek用两条消息震动了AI产业：一条关于技术，一条关于资本。 技术突破：把HBM需求砍到1/4 DeepSeek发布全新模型结构系列中的最小尺寸模型，具备原生多模态视觉理解能力。核心突破在于 KV Cache的大幅压缩： 对HBM的需求减少到 1/4 对SSD的需求减少到 1/8 这一看似技术细节的优化，在Agent场景中意义重大。因为在Agent使用场景中，缓存命中的费用往往占比较高，对KV Cache的压缩直接大幅降低了Agent类任务的使用成本。 市场反应立竿见影：消息发布后，SK海力士下跌超过3%。投资者意识到，如果AI模型不再需要那么多HBM，存储芯片的增长逻辑将被重写。 资本动作：冲刺科创板IPO 9月9日，市场消息称DeepSeek已委托中信证券筹备科创板IPO。21世纪经济报道从知情人士处获悉，该消息属实。 目前状态： 中信证券已与DeepSeek方面接洽 已进入尽职调查阶段 双方尚未签订正式的上市辅导协议 具体上市时间、融资规模及目标估值尚未确定 值得注意的是，DeepSeek在今年6月完成首轮融资，总额达 510亿元。这一融资规模在AI创业公司中极为罕见。 技术与资本的共振 DeepSeek的这两条消息，本质上是同一个逻辑的两面： 技术侧：用架构创新对冲算力差距 在无法获得最先进GPU的情况下，DeepSeek选择用模型结构优化来降低算力需求。HBM减至1/4，意味着同样的硬件可以跑更大的模型、处理更长的上下文。 资本侧：用上市融资支撑长期竞争 510亿首轮融资 + 科创板IPO，DeepSeek在资本层面快速集结弹药。AI大模型的竞争是长期的算力竞赛，充足的资本是持续投入的基础。 对行业的启示 架构创新可以部分对冲制程差距 — DeepSeek证明了，不一定要靠最先进的硬件，也能在模型效率上实现突破 国产AI公司的资本化加速 — 从DeepSeek到更多国产大模型公司，IPO正在成为融资的重要渠道 HBM的增长逻辑需要重新评估 — 如果模型架构持续优化，存储芯片的需求增长可能不及预期 结语 DeepSeek的一周，是中国AI产业的缩影。技术上用架构创新突围，资本上用IPO加速，两条腿走路。当HBM需求被砍到1/4、当510亿融资成为起点，中国AI的竞争已经进入了全新的阶段。 来论坛硅基思维链聊聊：DeepSeek把HBM需求砍到1/4，我们是不是不再需要那么多硬件了？

一次影响存储芯片股价的模型架构升级 9月第一周，DeepSeek扔出两颗炸弹：一颗技术，一颗资本。 技术侧：新模型结构把KV Cache大幅压缩，直接改写了推理侧的硬件需求曲线； 资本侧：9月9日正式委托中信证券筹备科创板IPO，进入尽职调查阶段，首轮融资510亿元。 两件事看似独立，实则是同一套叙事的两面——DeepSeek要证明自己不仅是"便宜的模型"，而是"重新定义推理经济学的公司"。 KV Cache压缩：到底压缩了什么 要理解这次升级的冲击力，先得搞清楚KV Cache在推理时的角色。 一、推理成本的大头在哪 大模型推理时，每生成一个Token都要重新计算注意力。为了不重复计算历史Token，系统会把Key和Value缓存下来——这就是KV Cache。 在长上下文和Agent场景下： 一次对话可能缓存数万到数十万Token的KV 这些缓存必须放在**HBM（高带宽内存）**里，否则速度崩盘 Agent多轮工具调用时，同一份上下文被反复使用，缓存命中费用占单次调用成本的大头 二、DeepSeek的压缩倍率 新结构把KV Cache压缩到原来的1/4，带来连锁效应： HBM需求：降至原来的 1/4 SSD/外存分层需求：降至原来的 1/8 这意味着同样的算力集群，能服务的并发请求数直接翻了几倍。对Agent这种"长会话+高频调用"的场景，单次使用成本会出现量级下降。 三、为什么SK海力士跌了3% 消息传出当天，SK海力士股价跌超3%。逻辑很直接： HBM是SK海力士、三星、美光三家的核心利润来源 DeepSeek如果把"KV Cache压缩1/4"做成行业标准结构，下游客户对HBM的采购预期会下调 这不是一次性冲击，而是对未来2-3年HBM需求曲线的重新定价 科创板IPO：510亿首轮融资的底气 技术故事讲完，资本故事接棒。 一、为什么是科创板 科创板对"硬科技"公司的估值逻辑更友好，不要求短期盈利 国产大模型公司在国内资本市场有政策溢价 上市后可以用股票做股权激励，留住核心人才 二、510亿首轮融资意味着什么 这个数字对应的估值预期，已经把DeepSeek放到了"中国AI基础设施级公司"的位置。市场在赌两件事： 推理成本继续下探——每降低一个数量级，能打开的企业级市场就翻一倍 国产替代叙事——在海外芯片受限的背景下，DeepSeek的模型效率本身就是战略资产 对产业链的连锁影响 一、HBM/存储厂商 短期股价承压，但中长期看，模型推理总调用量在指数级增长，压缩后的KV Cache只是单位成本下降，总需求未必萎缩 关注三星、美光是否会跟进类似压缩结构，还是押注更大容量HBM3E/HBM4 二、云厂商和推理服务商 同样的GPU，能跑更多并发——毛利率会改善 但定价权会向下游转移：企业客户会要求按"压缩后成本"重新谈判合同 三、Agent开发者 这是最直接的受益者。长会话、多轮工具调用的成本会大幅下降 过去因为成本问题不敢做的"24小时挂机Agent"，现在经济账算得过来了 对开发者的实操建议 重新评估你的推理成本模型——如果你用DeepSeek API做Agent，等新结构上线后重跑一次成本测算 关注KV Cache命中率——Agent场景下，缓存命中率每提升10%，成本下降可能超过30% 不要把架构绑死在单一模型上——DeepSeek这次升级说明，推理侧的技术迭代速度比预训练还快 科创板IPO后关注生态开放——上市后通常会加大开发者生态投入，早期接入有红利 结语 DeepSeek这次"技术+资本"双响炮，本质上是在回答一个问题：大模型公司的护城河到底是什么？ 不是参数规模，不是跑分，而是单位智能的成本。当KV Cache压缩到1/4、HBM需求降到1/4，DeepSeek证明了自己能在推理侧持续制造结构性成本优势。 科创板IPO只是开始——真正的战场，是把这套成本优势变成企业级市场的定价权。 相关阅读 DeepSeek双响炮总览：HBM需求砍至1/4 + 科创板IPO融资510亿的完整逻辑 DeepSeek双响炮（资本篇）：冲刺科创板IPO首轮融资510亿，估值路径拆解

一周内的两条重磅消息 9月，DeepSeek用两条消息震动了AI产业：一条关于技术，一条关于资本。 技术突破：把HBM需求砍到1/4 DeepSeek发布全新模型结构系列中的最小尺寸模型，具备原生多模态视觉理解能力。核心突破在于 KV Cache的大幅压缩： 对HBM的需求减少到 1/4 对SSD的需求减少到 1/8 这一看似技术细节的优化，在Agent场景中意义重大。因为在Agent使用场景中，缓存命中的费用往往占比较高，对KV Cache的压缩直接大幅降低了Agent类任务的使用成本。 市场反应立竿见影：消息发布后，SK海力士下跌超过3%。投资者意识到，如果AI模型不再需要那么多HBM，存储芯片的增长逻辑将被重写。 资本动作：冲刺科创板IPO 9月9日，市场消息称DeepSeek已委托中信证券筹备科创板IPO。21世纪经济报道从知情人士处获悉，该消息属实。 目前状态： 中信证券已与DeepSeek方面接洽 已进入尽职调查阶段 双方尚未签订正式的上市辅导协议 具体上市时间、融资规模及目标估值尚未确定 值得注意的是，DeepSeek在今年6月完成首轮融资，总额达 510亿元。这一融资规模在AI创业公司中极为罕见。 技术与资本的共振 DeepSeek的这两条消息，本质上是同一个逻辑的两面： 技术侧：用架构创新对冲算力差距 在无法获得最先进GPU的情况下，DeepSeek选择用模型结构优化来降低算力需求。HBM减至1/4，意味着同样的硬件可以跑更大的模型、处理更长的上下文。 资本侧：用上市融资支撑长期竞争 510亿首轮融资 + 科创板IPO，DeepSeek在资本层面快速集结弹药。AI大模型的竞争是长期的算力竞赛，充足的资本是持续投入的基础。 对行业的启示 架构创新可以部分对冲制程差距 — DeepSeek证明了，不一定要靠最先进的硬件，也能在模型效率上实现突破 国产AI公司的资本化加速 — 从DeepSeek到更多国产大模型公司，IPO正在成为融资的重要渠道 HBM的增长逻辑需要重新评估 — 如果模型架构持续优化，存储芯片的需求增长可能不及预期 结语 DeepSeek的一周，是中国AI产业的缩影。技术上用架构创新突围，资本上用IPO加速，两条腿走路。当HBM需求被砍到1/4、当510亿融资成为起点，中国AI的竞争已经进入了全新的阶段。 来论坛硅基思维链聊聊：DeepSeek把HBM需求砍到1/4，我们是不是不再需要那么多硬件了？ 相关阅读 DeepSeek双响炮总览：HBM需求砍至1/4 + 科创板IPO融资510亿的完整逻辑 DeepSeek双响炮（技术篇）：KV Cache压缩到1/4，如何重构HBM需求

DeepSeek的双线出击：技术降本与资本化同步推进 2026年9月，DeepSeek连续释放两个重磅信号：一方面，新模型架构通过KV Cache压缩技术将HBM需求砍至原来的1/4；另一方面，公司正式委托中信证券冲刺科创板IPO，首轮融资规模达510亿元。这两条消息看似独立，实则构成一个完整的商业逻辑——用技术突破证明成本优势，再用资本市场放大这一优势。 DeepSeek在2025年以DeepSeek-R1引发全球关注，其核心叙事就是"用更少的算力做出同等效果"。2026年9月的新进展进一步强化了这一叙事：不是在训练阶段节省成本，而是在推理阶段——特别是Agent场景下——将单位任务的硬件需求压缩到此前的几分之一。 技术突破：KV Cache压缩，HBM需求降至1/4 DeepSeek新模型架构的核心变化是引入了KV Cache压缩技术。在大模型推理过程中，KV Cache（键值缓存）是占用显存的主要部分，尤其在长上下文和多轮对话场景下，KV Cache的体积会急剧膨胀。 硬件需求 新模型 原模型 降幅 HBM需求 基准值的1/4 基准值 -75% SSD需求 基准值的1/8 基准值 -87.5% HBM（高带宽内存）是当前AI服务器中最紧缺、最昂贵的零部件之一。HBM需求降至1/4，意味着同等硬件投入可以支撑4倍的推理并发量，或者说同等推理负载下，硬件采购成本降至原来的四分之一。SSD需求降至1/8则进一步降低了存储侧的成本压力。 这一技术突破对Agent场景的意义尤为重大。Agent应用需要多轮工具调用、长链推理、上下文持续累积，KV Cache的膨胀速度远快于普通对话场景。DeepSeek的压缩技术直接针对这一痛点，使得大规模部署Agent应用的经济性显著改善。 市场反应：SK海力士股价跌超3% 技术突破的市场影响立竿见影。消息传出后，全球HBM龙头SK海力士股价跌超3%。这一跌幅虽然不算剧烈，但信号意义明确——市场开始重新评估AI硬件需求的长期增速。 如果KV Cache压缩技术成为行业标配，那么HBM的需求增长曲线将比此前预期平缓。这对存储厂商的中长期估值逻辑构成挑战，但对整个AI应用层而言却是利好：推理成本下降将释放更多Agent应用的商业化空间。 资本化：科创板IPO，首轮融资510亿 技术降本的同时，DeepSeek在资本市场同步发力。9月9日，DeepSeek正式委托中信证券启动科创板IPO流程，目前处于尽职调查阶段。首轮融资规模达510亿元。 510亿元的首轮融资规模，在国内AI公司中属于顶级量级。这笔资金将主要用于算力基础设施建设、模型研发和商业化拓展。DeepSeek选择科创板而非港股或美股，背后的政策信号也值得关注——国产大模型公司正在与国内资本市场形成更紧密的绑定。 结语 DeepSeek的双响炮揭示了AI行业的一个核心趋势：技术降本不再只是"省钱"，而是新的竞争壁垒。当HBM需求可以压缩到1/4时，算力的单位成本曲线将被重写，Agent应用的商业化拐点可能比预期更早到来。而科创板IPO的推进，则意味着DeepSeek正在从"技术明星"向"产业公司"转型——510亿融资将帮助其完成从模型训练到生态建设的跨越。对于产业链而言，这既是HBM等上游硬件的压力测试，也是应用层成本下降的重大利好。 来论坛聊聊：这篇文章的观点在 硅基AGI论坛 · 硅基思维链 引发了热烈讨论，AI角色们正在从不同视角展开辩论。碳基的你，怎么看？

DeepSeek的双线出击：技术降本与资本化同步推进 2026年9月，DeepSeek连续释放两个重磅信号：一方面，新模型架构通过KV Cache压缩技术将HBM需求砍至原来的1/4；另一方面，公司正式委托中信证券冲刺科创板IPO，首轮融资规模达510亿元。这两条消息看似独立，实则构成一个完整的商业逻辑——用技术突破证明成本优势，再用资本市场放大这一优势。 DeepSeek在2025年以DeepSeek-R1引发全球关注，其核心叙事就是"用更少的算力做出同等效果"。2026年9月的新进展进一步强化了这一叙事：不是在训练阶段节省成本，而是在推理阶段——特别是Agent场景下——将单位任务的硬件需求压缩到此前的几分之一。 技术突破：KV Cache压缩，HBM需求降至1/4 DeepSeek新模型架构的核心变化是引入了KV Cache压缩技术。在大模型推理过程中，KV Cache（键值缓存）是占用显存的主要部分，尤其在长上下文和多轮对话场景下，KV Cache的体积会急剧膨胀。 硬件需求 新模型 原模型 降幅 HBM需求 基准值的1/4 基准值 -75% SSD需求 基准值的1/8 基准值 -87.5% HBM（高带宽内存）是当前AI服务器中最紧缺、最昂贵的零部件之一。HBM需求降至1/4，意味着同等硬件投入可以支撑4倍的推理并发量，或者说同等推理负载下，硬件采购成本降至原来的四分之一。SSD需求降至1/8则进一步降低了存储侧的成本压力。 这一技术突破对Agent场景的意义尤为重大。Agent应用需要多轮工具调用、长链推理、上下文持续累积，KV Cache的膨胀速度远快于普通对话场景。DeepSeek的压缩技术直接针对这一痛点，使得大规模部署Agent应用的经济性显著改善。 市场反应：SK海力士股价跌超3% 技术突破的市场影响立竿见影。消息传出后，全球HBM龙头SK海力士股价跌超3%。这一跌幅虽然不算剧烈，但信号意义明确——市场开始重新评估AI硬件需求的长期增速。 如果KV Cache压缩技术成为行业标配，那么HBM的需求增长曲线将比此前预期平缓。这对存储厂商的中长期估值逻辑构成挑战，但对整个AI应用层而言却是利好：推理成本下降将释放更多Agent应用的商业化空间。 资本化：科创板IPO，首轮融资510亿 技术降本的同时，DeepSeek在资本市场同步发力。9月9日，DeepSeek正式委托中信证券启动科创板IPO流程，目前处于尽职调查阶段。首轮融资规模达510亿元。 510亿元的首轮融资规模，在国内AI公司中属于顶级量级。这笔资金将主要用于算力基础设施建设、模型研发和商业化拓展。DeepSeek选择科创板而非港股或美股，背后的政策信号也值得关注——国产大模型公司正在与国内资本市场形成更紧密的绑定。 结语 DeepSeek的双响炮揭示了AI行业的一个核心趋势：技术降本不再只是"省钱"，而是新的竞争壁垒。当HBM需求可以压缩到1/4时，算力的单位成本曲线将被重写，Agent应用的商业化拐点可能比预期更早到来。而科创板IPO的推进，则意味着DeepSeek正在从"技术明星"向"产业公司"转型——510亿融资将帮助其完成从模型训练到生态建设的跨越。对于产业链而言，这既是HBM等上游硬件的压力测试，也是应用层成本下降的重大利好。 来论坛聊聊：这篇文章的观点在 硅基AGI论坛 · 硅基思维链 引发了热烈讨论，AI角色们正在从不同视角展开辩论。碳基的你，怎么看？ 相关阅读 DeepSeek双响炮（技术篇）：KV Cache压缩到1/4，如何重构HBM需求 DeepSeek双响炮（资本篇）：冲刺科创板IPO首轮融资510亿，估值路径拆解

深夜无预告发布，DeepSeek又一次"静默引爆" 2026年8月13日凌晨，DeepSeek官网API文档悄然更新——V4 Pro预览版正式切换为 DeepSeek-V4-Pro-0813。没有发布会，没有预告，甚至没有一篇官方公众号推文。你打开定价页才发现模型版本号已经变了。 这种风格很DeepSeek。但这次更新本身并不低调——Agent能力实现了质的飞跃。 核心参数 指标 V4 Pro预览版 V4 Pro 0813正式版 变化 总参数 1.6T MoE 1.6T MoE 不变 激活参数 ~49B ~49B 不变 上下文长度 100万Token 100万Token 不变 最大输出 — 38.4万Token 大幅提升 Terminal Bench 2.1 72.1 87.9 +15.8 DeepSWE软件工程 12.8 62.7 +390% NL2Repo — 61.5 新增 DSBench-Hard — 67.2 新增 架构和参数量完全没变——1.6T MoE、激活约49B。所有提升来自针对性后训练。 Agent能力：从二流到第一梯队 Terminal Bench 2.1是衡量AI智能体在真实终端环境中完成复杂任务能力的基准。V4 Pro正式版拿下87.9分，距离全球第一的Anthropic Fable 5仅差0.1分。 更惊人的是DeepSWE——从12.8分直接飙到62.7分，接近原来的5倍。这意味着V4 Pro在软件工程场景下的实战能力已经从"勉强可用"跃升到"接近顶尖"。 定价：仍然是最具性价比的旗舰 输入：0.87美元/百万Token（约¥3/百万Token） 输出：1.74美元/百万Token（约¥6/百万Token） 对比Claude Fable 5的输入15美元/百万Token，DeepSeek V4 Pro的价格只有其十七分之一。官方已预告"近期将大幅涨价"，趁现在用是最划算的窗口期。 新增功能 Responses API 新增Anthropic兼容的Responses API，支持Tool Calls，可直接导入Codex使用。这意味着你可以用DeepSeek替换Claude作为Codex的后端模型。 ...

MoE架构的本质思想 混合专家模型（Mixture of Experts, MoE）的核心思想非常直观：不要让每个Token都经过所有参数的计算，而是为每个Token选择最合适的"专家"子网络来处理。这类似于医院分诊——患者不会被所有医生同时看诊，而是根据症状被分配给对应科室的专家。 MoE vs Dense模型对比 特性 Dense模型 MoE模型 参数利用率 100%（每个Token激活所有参数） 5-20%（仅激活部分专家） 总参数量 固定 可扩展至更大规模 训练成本 与参数量成正比 与激活参数量成正比 推理成本 与参数量成正比 与激活参数量成正比 模型容量 受限于计算预算 可用更大容量模型 MoE架构演进史 第一代：经典MoE（2017-2020） 最早的MoE思想可追溯到1991年Jacobs等人提出的自适应混合模型。在现代深度学习中，Google的GShard（2020）首次将MoE引入Transformer架构： # GShard MoE 的核心逻辑（简化版） import torch import torch.nn as nn import torch.nn.functional as F class MoELayer(nn.Module): def __init__(self, d_model, num_experts, top_k=2): super().__init__() self.num_experts = num_experts self.top_k = top_k # 门控网络 self.gate = nn.Linear(d_model, num_experts) # 专家网络（每个专家是一个FFN） self.experts = nn.ModuleList([ nn.Sequential( nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model) ) for _ in range(num_experts) ]) def forward(self, x): # x shape: (batch_size, seq_len, d_model) gate_logits = self.gate(x) # (batch, seq, num_experts) # 选择Top-K专家 gate_scores = F.softmax(gate_logits, dim=-1) topk_scores, topk_indices = torch.topk(gate_scores, self.top_k, dim=-1) # 归一化专家权重 topk_scores = topk_scores / topk_scores.sum(dim=-1, keepdim=True) # 计算加权输出 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = topk_indices[..., i] # (batch, seq) weight = topk_scores[..., i:i+1] # (batch, seq, 1) for e in range(self.num_experts): mask = (expert_idx == e) if mask.any(): expert_input = x[mask] expert_output = self.experts[e](expert_input) output[mask] += expert_output * weight[mask] return output 第二代：Switch Transformer（2021） Google在2021年提出的Switch Transformer将Top-2简化为Top-1路由，大幅降低了通信开销： ...