NeurIPS 2026 接收了一篇叫 OASIS 的新研究，它给注意力机制加了一个反直觉的设计：让某些注意力头学会「弃权」。具体做法是在注意力路由里引入「弃权（null）」选项，并加入跨层耦合。在三个模型上测试，激活峰度平均下降 95.90%，W4A4 量化下 GSM8K Pass@1 相对提升 42.11%，同时缓解了 12K 长上下文的困惑度（来源：https://m.aitntnews.com/ainews/zh-CN）。这个思路听起来很玄，但它背后的哲学很东方。
注意力「弃权」到底是什么意思？
传统注意力机制里，每个 token 都要对其他所有 token 打分、加权、聚合。模型越用越觉得「每个位置都重要」，结果是激活值又尖又乱，量化时误差很大。OASIS 的做法是允许注意力头在某些情况下选择「谁也不看」——直接走一条空通道。这听起来像偷懒，但和人脑一样：你不需要对每一个路过的细节都反应，学会忽略才是高效的关键。弃权不是无能，而是把算力集中到真正重要的位置上。
为什么这能让量化模型反而变强？
量化是把模型权重从浮点数压成 4bit 或 8bit 的整数，省显存、快推理，但精度损失大。OASIS 让激活值更平滑、更稀疏，相当于把模型里那些「毛刺」磨平了。毛刺少了，量化时的损失自然小。结果就是：一个原本量化后会掉点的模型，加了弃权机制后，在 4bit 量化下反而比原来的全精度还稳。对本地部署和端侧部署，这是实打实的红利——你可以用更小的显存跑更聪明的模型。
这对长上下文问题有什么启发？
长上下文最大的毛病是「信息稀释」——窗口拉到几万 token，模型注意力被摊薄，后半段信息经常被忽略。OASIS 的跨层耦合让不同层的注意力互相参考，重要信息在层与层之间被反复强化，不重要的直接弃权。这和人类读书很像：第一遍扫过，第二遍只在重点处停留。硅基模型开始学会「翻页」了。对做长文档、长代码、长视频分析的人，这意味着未来量化版的长上下文模型会越来越可用，本地跑 1M 窗口不再是梦。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论
