10月19日，在第十届CSDI Summit中国软件研发智能创新科技峰会上，商汤大装置副总裁、CTO宣善明表示，随着AI应用从对话式问答走向多Agent协作与长任务执行，Token需求呈千倍级增长，AI基础设施竞争正从算力规模转向高质量Token产能。商汤大装置平台目前日均Token服务量已达6万亿，预计2026全年Token服务规模实现25倍增长，计划第四季度达到日均10万亿Token。技术上，临港AIDC万卡级异构推理集群通过PD分离，把大模型推理的Prefill预填充与Decode解码阶段解耦，不同类型算力承担对应任务，再经KV Cache传输协同，在相同数量高端旗舰卡的测试配置下，整体Token吞吐量提升至基准方案的5倍。

PD分离到底解决了什么矛盾？

Prefill是计算密集型，负责处理输入Token，Decode是显存带宽密集型，要持续读取上下文缓存逐步生成输出，两者对硬件的需求完全不同，让同一张卡同时承担必然互相拖累。PD分离由适配的国产算力集中承担Prefill，高带宽高阶GPU承担Decode，KV Cache在两阶段间传输，把不同代际、不同规格的芯片用800G、400G、200G网络融合到同一集群，让每类硬件做最适合的事，这正是异构集群效率的来源。

5倍吞吐是同数量旗舰卡算出来的吗？

是的，对比口径是相同数量高端旗舰卡，而非堆更多卡，这一点关键。它说明提升来自架构重组而非资本加码。工程难点在于节点故障与资源闲置，部分异构配置需要30至50个中低阶Prefill节点才能匹配一个Decode节点，一旦Decode故障，大量Prefill资源闲置，商汤的做法是在Prefill资源池预留少量高端算力兜底。

跨域PD分离与AF分离下一步要做什么？

商汤还在探索跨域PD分离，实现跨集群、跨机房、跨地域的推理任务编排；AF分离把Attention与FFN计算部署到不同硬件，未来有望单卡吞吐提升150%至200%、运营成本降低30%至40%，整体能效提升到两倍以上。这些方向说明推理优化正在从单集群走向资源全局调度，把分散在不同地域、不同代际的算力拉成一张可弹性拆分的推理网。

6万亿日均Token反映了什么行业趋势？

Agentic时代基础设施的核心竞争力，是以更低成本、更高效率、更稳定的服务质量持续产出Token。日均6万亿、Q4冲10万亿，背后是多Agent长任务把单次请求的Token消耗量级拉高，谁能把单位Token成本打下来，谁就能承接大规模调用。国产算力通过承担Prefill进入高层级推理服务，也在这条产线上完成了从边缘到核心的身份转换。

信息来源与延伸阅读？

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论