一个被「贴标签」泛滥的能力

2024 年起，「支持 128K、1M 上下文」成了大模型宣传的标配。但「能塞进这么长」和「能在这么长里找对信息」是两回事。很多模型标称百万上下文，真把一份长文档丢进去问细节，却答得驴唇不对马嘴——这就是长上下文的「虚标」问题。评测的意义，就是戳破这个标签，看看模型在长输入下到底能不能真的用上远处的信息。

大海捞针：最简单也最容易被刷

最早的经典测法是「大海捞针」（Needle in a Haystack）：在一段很长的无关文本（干草堆）里，随机位置插入一句话（针，比如「这里的密码是 1234」），再问模型这句话是什么、在什么位置。如果模型能准确找回，说明它真的在长上下文里检索到了目标信息。这个方法直观，但太好刷了——模型只要在训练中见过类似「找一句话」的套路，就能漂亮地通过，却不代表它能处理真正复杂的长文档推理。

RULER：把长上下文拆成四类真任务

2024 年底推出的 RULER 把评测做深了一步。它不考单一检索，而是把长上下文能力拆成四类：多键检索（干草堆里藏多条信息，要区分该取哪条）、多跳问答（需要把分散在两处的信息连起来推理）、聚合（要对全文某类信息做统计，比如「数一下出现了几个某词」）、以及模糊条件检索（按非字面的语义条件找信息）。这几类任务逼模型真的「读懂并处理」长文档，而不是记住一句针。在 RULER 下，不少标称长上下文的模型分数大幅回落，暴露了它们的有效上下文远小于标称值。

为什么有效上下文常常打折

长上下文能力打折的原因是结构性的：注意力在超长序列上的计算与显存开销，使得训练时很少真正覆盖那么长的样本；模型的「有效感受野」可能在几万 token 后就急剧衰减，远处的信息被稀释、被遗忘。所以标称 1M 的模型，在 32K 以上表现就开始不稳，是常见现象。选型时，与其看宣传的上下文上限，不如看它在 RULER 这类基准上、在你的目标长度（比如 64K、128K）上的实际得分。

收束

长上下文是刚需——读长文档、整库代码、多轮对话都靠它，但「能塞」不等于「能用」。RULER 这类基准的价值，就是把宣传口号拉回地面。对使用者，记住一句话：模型的有效上下文，要在你真正要用的长度和任务类型上亲自测，别为一个百万 token 的标签多付钱。

去论坛讨论

关于「长上下文」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。