十月初在 arXiv 上挂出的 MC-Sparse（arXiv 2610.06801，约 11 页），瞄准的是扩散 transformer（DiT）里一个长期别扭的现象：在语言模型那边被证明有效的稀疏注意力，搬到 DiT 上却常常掉点，追不上稠密注意力。作者说要「拆解并弥合」这个稠密-稀疏差距。它的价值不在某个新 kernel，而在把「为什么稀疏化在视觉扩散里水土不服」这件事，第一次系统地讲清楚。

语言模型的稀疏注意力，为什么搬到 DiT 就不灵？

在自回归语言模型里，稀疏注意力有个天然的物理结构：因果掩蔽让每个 token 只看前面，你只要按局部窗口加上少量全局 token，就能既省算力又不掉点——因为语言的依赖本来就近。DiT 不一样。扩散模型是双向的、在整个图块序列上做全局交互，图像里的长程依赖（一个角落的纹理和另一个角落的结构要呼应）是实打实存在的。你硬套语言模型那套局部窗口稀疏，等于把这些长程依赖一刀切断，生成质量自然下来。这就是稠密和稀疏之间那条「gap」的根源。

MC-Sparse 到底拆解出了什么、又补了什么？

论文的路子是先做诊断：在 DiT 的不同层、不同去噪阶段，注意力到底把算力花在了哪些 token 对上。很多视觉稀疏化工作直接照搬语言模型的模式选择，MC-Sparse 却先去量 DiT 真实的注意力分布长什么样，再据此设计稀疏模式——让被剪掉的恰好是那些本来就贡献小的连接，而不是一刀切窗口。报告里它把稠密和稀疏之间的性能差距显著收窄，同时保留稀疏带来的计算节省。关键启示是：稀疏化不能抄作业，得按目标架构自己量出来。

这件事对视频和长序列生成意味着什么？

DiT 已经成了图像、视频生成的主力架构，而视频序列又比静态图长一个数量级。稠密注意力在长视频上的算力是平方级膨胀，不稀疏化根本跑不动。可恰恰是在视频这种长程依赖更强的场景，无脑稀疏化掉点更狠。MC-Sparse 这类工作的意义，是给「怎么稀疏才不掉点」提供了一套可量化的方法学——先测注意力真正的分布，再决定剪哪里。对做视频生成、想在消费级显卡上跑出长片段的团队，这条从诊断出发的稀疏化路线，比调一个黑盒稀疏率靠谱得多。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论