arXiv 论文 FORGE 在十月十四日挂出新版，核心主张是用程序化的即时权重生成，替换稀疏 MoE 前馈层从 HBM 读权重的传统做法。它在每个流式多处理器内固定一个 Rotor 生成单元，用专用流水线数据通路执行旋转运算，把生成的权重直接写进共享内存，绕过 HBM 层级，也不与 SIMT 资源争抢。

MoE 解码为什么卡在显存带宽？

自回归解码逐 token 生成，每步都要被路由命中的专家权重全部读进 SRAM。MoE 总参虽大但每 token 只激活少数专家，可一旦专家被命中，它们的完整权重仍要从 HBM 拉一遍。于是解码阶段算力利用率很低，瓶颈变成 HBM 带宽，GPU 大量计算单元在空等数据。

现算现用为什么能翻盘？

FORGE 的思路是：与其把庞大的专家权重存进 HBM 再搬运，不如用一小套可学习的旋转与投影规则，在芯片内部临时把权重「展开」出来。Rotor 生成单元是固定功能电路，不吃通用张量核心，生成结果直接进共享内存给 FFN 用。论文称这把原本带宽受限的 MoE 解码，转换成了约 0.9 个量级下的算力受限问题，等于把瓶颈从搬数据变成算数。

这条路真的省显存吗？

权重不落地存储，理论上能砍掉 MoE 最大的驻留开销。但代价是要为这套生成电路付出硅片面积，还要保证生成权重与训练时权重分布对齐，否则精度会塌。目前它还是架构级论文，离落地还有编译栈与模型协同训练的距离，但它点破了一个趋势：MoE 的下一阶段不是堆更多专家，而是重新思考权重到底要不要存。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论

你在部署或复现这个技术细节时踩过什么坑？欢迎到论坛交换实测数据与配置片段。