大模型 / 模型评测

一个被「贴标签」泛滥的能力 2024 年起，「支持 128K、1M 上下文」成了大模型宣传的标配。但「能塞进这么长」和「能在这么长里找对信息」是两回事。很多模型标称百万上下文，真把一份长文档丢进去问细节，却答得驴唇不对马嘴——这就是长上下文的「虚标」问题。评测的意义，就是戳破这个标签，看看模型在长输入下到底能不能真的用上远处的信息。 大海捞针：最简单也最容易被刷 最早的经典测法是「大海捞针」（Needle in a Haystack）：在一段很长的无关文本（干草堆）里，随机位置插入一句话（针，比如「这里的密码是 1234」），再问模型这句话是什么、在什么位置。如果模型能准确找回，说明它真的在长上下文里检索到了目标信息。这个方法直观，但太好刷了——模型只要在训练中见过类似「找一句话」的套路，就能漂亮地通过，却不代表它能处理真正复杂的长文档推理。 RULER：把长上下文拆成四类真任务 2024 年底推出的 RULER 把评测做深了一步。它不考单一检索，而是把长上下文能力拆成四类：多键检索（干草堆里藏多条信息，要区分该取哪条）、多跳问答（需要把分散在两处的信息连起来推理）、聚合（要对全文某类信息做统计，比如「数一下出现了几个某词」）、以及模糊条件检索（按非字面的语义条件找信息）。这几类任务逼模型真的「读懂并处理」长文档，而不是记住一句针。在 RULER 下，不少标称长上下文的模型分数大幅回落，暴露了它们的有效上下文远小于标称值。 为什么有效上下文常常打折 长上下文能力打折的原因是结构性的：注意力在超长序列上的计算与显存开销，使得训练时很少真正覆盖那么长的样本；模型的「有效感受野」可能在几万 token 后就急剧衰减，远处的信息被稀释、被遗忘。所以标称 1M 的模型，在 32K 以上表现就开始不稳，是常见现象。选型时，与其看宣传的上下文上限，不如看它在 RULER 这类基准上、在你的目标长度（比如 64K、128K）上的实际得分。 收束 长上下文是刚需——读长文档、整库代码、多轮对话都靠它，但「能塞」不等于「能用」。RULER 这类基准的价值，就是把宣传口号拉回地面。对使用者，记住一句话：模型的有效上下文，要在你真正要用的长度和任务类型上亲自测，别为一个百万 token 的标签多付钱。 去论坛讨论 关于「长上下文」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

MMLU 测的是什么 MMLU（Massive Multitask Language Understanding）由 Hendrycks 等人于 2021 年提出，初衷是测大模型的「通识」水平。它横跨 57 个学科，从初等数学、历史、法律伦理到大学水平的物理、医学、哲学，题目主要是四选一的多选题。出题人刻意选了「人类专家才会做对」的难题，想看看模型在没有专门训练的情况下，到底掌握了多少知识。刚发布时，最强模型在 MMLU 上也只有 40% 上下，而人类专家能到 90% 以上，差距非常明显。 高分与饱和：基准的中年危机 问题随之而来。随着模型越训越大，MMLU 分数被一路推高——2023 年 GPT-4 报到约 86%，到 2025、2026 年前沿模型的分数已普遍触及 90% 甚至更高。分数越挤越接近天花板，模型之间的区分度越来越小，「86 与 88 谁更强」变得难以分辨。这就是基准饱和：题目太简单、套路被训练数据见过，模型不再是「真会」，而是「背过题型」。更尴尬的是，研究发现 MMLU 的不少题目可能出现在训练语料里，高分有「露题」嫌疑。 MMLU-Pro：把题重新加难 为应对饱和，2024 年推出的 MMLU-Pro 做了几件事：把选项从 4 个扩到 10 个，增加干扰项让「蒙」的难度陡增；题目更偏需要推理的高阶问题，而不是直接记忆；重新筛选避免露题。结果一出来，前沿模型在 MMLU-Pro 上的分数普遍比原版 MMLU 低一大截，区分度重新拉开——那些在旧基准上挤作一团的模型，在 Pro 版上分出了高下。这说明旧基准测的更多是「记忆」，而 Pro 版逼出了更多「推理」。 这类基准的根本局限 但要清醒：多选题再难，测的也只是「闭卷选择题能力」，和真实世界的知识运用差得远。模型能在十选一的法律题上拿高分，不代表它能写一份靠谱的合同；能做对物理题，不代表它能设计一个实验。知识基准的价值在于快速横向比较、监测模型进步速度，而不是预测它在你的业务里好不好用。这也是为什么 2026 年的评测趋势从「静态选择题」转向「动态任务型基准」——像 SWE-bench 那样真刀真枪干活。 收束 MMLU 的故事是所有知识基准的缩影：设计时是难题，普及后成了背题集。MMLU-Pro 提醒我们，评测必须跟着模型能力一起进化，否则分数就失去了信号。对从业者，理性的态度是把 MMLU 类分数当作「体检指标」而非「录用依据」——它告诉你模型大概在什么段位，但真正能不能干活，还得在你的真实任务上测。 去论坛讨论 关于「MMLU」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

这个基准考的不是写代码，是修 bug SWE-bench 由普林斯顿团队发布，它的题面很特别：不是让模型从零写一个函数，而是给它一个真实的 GitHub issue（比如「某库在处理空输入时崩溃了」），配上一个可运行的代码仓库，要求智能体自主定位问题、改代码、跑测试，直到 issue 被解决。评判标准很硬核：测试用例通过才算 resolved，不靠人主观打分。2024 年 8 月，普林斯顿与 OpenAI 合作从全集中筛出 500 道经人工确认可解的题，即 SWE-bench Verified，成了编码 Agent 的标准考场。 分数的狂飙曲线 这个基准的进步速度堪称夸张。刚推出时，最强系统在 Verified 上的 resolved rate 只有个位数到 20% 出头；2025 年初首次有系统跨过 50% 被视作里程碑；到 2025 年底头部已到约 79%。进入 2026 年，分数进一步飙升——公开榜单上前沿模型（如 Claude Opus 5、GPT-5.6 这类）在 Verified 上的 resolved rate 已报到 96% 到 97% 区间，逼近「人类工程师在同样时间预算下约 90%」的参照线。OpenAI 在 2026 年的一份分析里也指出，八个月间公开拆分上前沿模型从 23.3% 提升到了 80.3%。 为什么涨得这么快 分数暴涨有两重原因。一是模型本身在变强，尤其代码与工具调用能力。二是 Agent 框架的贡献巨大：真正的高分不是裸模型刷出来的，而是「模型加脚手架」——智能体能跑命令、读报错、改文件、反复试错。这也是为什么 SWE-bench 测的是端到端系统而非纯模型：给模型配一个能自主跑测试、看日志的循环，分数能涨一大截。 它暴露的问题 但 97% 这个数字要冷静看。一方面，题目分布偏 Python 生态、偏已知 issue，换个语言或更暧昧的需求，分数立刻掉。另一方面，高分也意味着基准正在被「刷饱和」——题解套路被模型学透，区分度下降。这也是为什么社区不断推新拆分、新难度。对选型者而言，SWE-bench Verified 的相对排名有参考价值，但落到你的真实仓库、真实工作流上，仍要自己跑一轮验证，榜单分数不能直接当生产能力。 ...

问题：基座模型会说话，但不听话 预训练出来的基座大模型，本质是「续写文本」的机器——你给它一段，它往下接，但未必按你的指令办：你让它写邮件，它可能接着聊天气；你让它简洁，它可能滔滔不绝。也就是说，它有知识、有能力，却没有「听懂并遵从人类意图」的对齐。OpenAI 的 InstructGPT（2022）系统地解决了这个问题，它的方法后来被称为 RLHF（基于人类反馈的强化学习），成了 ChatGPT 这类对话模型的直接源头。 方法：对齐三部曲 RLHF 分三步。第一步，监督微调（SFT）：人工写一批高质量的「指令—回答」示例，让模型先学会基本的听话格式。第二步，训练奖励模型（RM）：针对同一个问题，让模型生成多个回答，由人类标注员排序哪个好哪个差，用这批排序数据训一个奖励模型，学会给「人类更喜欢的回答」打高分。第三步，强化学习微调：把大模型当作策略，在不破坏原有能力的前提下，用 PPO 算法优化它，让它生成的回答尽量拿到奖励模型的高分。这套流程让模型从「会续写」变成「会好好回答问题」。 DPO：绕开强化学习的捷径 RLHF 效果好，但工程复杂——要同时跑两个模型、调 PPO、防奖励模型被钻空子。2023 年提出的 DPO（Direct Preference Optimization）证明了一件事：其实不用显式训练奖励模型、也不用跑强化学习，只要直接用偏好数据，通过一个简单的损失函数，就能把模型往「人类更喜欢的方向」推。DPO 把对齐简化成了一次有监督式的训练，稳定性高、成本低，迅速被开源社区（LLaMA-Factory、Axolotl 等）采用。后续又有 ORPO 等方法把 SFT 与偏好优化合并，进一步压缩流程。 结论与启示 从 InstructGPT 到 DPO，这条线的演进逻辑很清楚：对齐的目标没变——让模型符合人类偏好；变的是方法，从复杂的三段式 RLHF 走向更简单、更稳的直接偏好优化。这背后的洞察是：偏好数据本身就包含了足够的信号，不必非经过「显式奖励再加强化学习」这个迂回。对实践者而言，DPO 这类方法让「用自己的偏好数据对齐一个开源模型」从博士级工程变成了可复现的常规操作。 收束 对齐是把「有能力」变成「可用、可靠、听人话」的关键一步。RLHF 证明了这条路可行，DPO 让它平民化。理解这套演进，你就明白了为什么今天随便一个开源模型都能通过几百条偏好样本被调成对话助手——对齐不再是大厂的独门绝技，而是人人可上手的标准工序。 去论坛讨论 关于「RLHF」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

问题：闭卷模型的知识有三个死穴 纯生成式大模型闭卷答题，知识全部冻结在训练那一刻的权重里。这带来三个硬伤：一是过时，训练截止之后的事它不知道；二是幻觉，它会一本正经编造没见过的事实；三是不可溯源，你不知道它的答案从哪来。要让模型掌握私有、实时、可引用的知识，靠重新训练或微调既慢又贵。RAG（Retrieval-Augmented Generation，检索增强生成）给出了另一条路：不把知识塞进权重，而是在生成时临时去外部知识库「开卷」查资料，再基于查到的内容作答。 方法：先检索，再生成 Lewis 等人 2020 年的原始论文把这个过程拆成两步。第一步，给定问题，用一个检索器（早期是 DPR，基于稠密向量相似度）从文档库里召回若干最相关的片段。第二步，把这些片段连同问题一起塞进生成模型的上下文，让模型基于这些证据组织答案。论文证明，把检索结果当作额外知识注入，在开放域问答上显著优于纯参数化模型，而且答案能指回具体来源。 为什么它在工程界火到今天 原始论文是学术原型，但 RAG 的思想在 2023 年后被工程界发扬光大，成为企业落地大模型的标配。原因很实在：知识库可以随时增删改——新文档进来，只要加进索引即可，不用重训模型；答案带引用，出了错能查到是哪份文档的问题；私有数据不用进训练集，只在检索时可见，隐私边界更清晰。今天的 RAG 系统已经演化出混合检索（向量加关键词）、重排序（rerank）、分块策略、查询改写等一整套工程技巧，核心仍是「检索给证据，生成来作答」这个闭环。 结论与局限 RAG 的结论是：把实时、可溯源的外部知识与生成能力解耦，是比死记硬背更可持续的知识接入方式。它大幅缓解了幻觉与时效性问题。但它不是万能药——检索不到相关文档时，模型照样会瞎编；分块切得不好，证据残缺；长上下文塞不下所有召回内容，又要做取舍。所以 RAG 的效果上限，往往不取决于生成模型多强，而取决于检索、分块、重排这套前端工程做得多细。 收束 RAG 的洞见是：与其期望模型把一切都背下来，不如让它学会查资料。这恰好契合「知识在权重之外持续更新」的现实。对企业而言，一套做得扎实的 RAG，性价比远高于反复微调——把知识库维护好，比把模型喂胖，更能解决真实业务问题。 去论坛讨论 关于「RAG」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

问题：稠密模型的算力墙 大模型越训越大，但稠密 Transformer 有个硬约束：每来一个 token，全部参数都要参与计算。于是参数翻倍，推理算力也近似翻倍——70B 模型就已经吃掉不少显存，再往上堆，单卡根本扛不住。混合专家（Mixture-of-Experts, MoE）给出了另一条路：不把所有参数都激活，而是让每个 token 只路由到少数几个「专家」子网络。这样总参数量可以做得极大，但每次计算只动用其中一小部分，用稀疏激活换取参数规模的暴涨。 方法：路由与稀疏激活 2017 年提出、2021 年由 GShard 与 Switch Transformer 系统化的 MoE，做法是把前馈网络（FFN）层换成多个并行的专家 FFN，再配一个门控（gate / router）网络。门控对每个 token 算它该分给哪几个专家，通常只选 top-2 个。比如一个 8 专家、每 token 激活 2 个的层，总参数量是 8 份，但每次计算只跑 2 份。这就是「总参数大、激活参数小」的来源。 负载均衡是绕不开的坑 MoE 最大的工程难题是：门控如果总把 token 分给少数几个专家，其他专家就闲着，既浪费又学不到东西。所以训练里要加负载均衡损失，强迫 token 均匀分布到各专家。DeepSeek 系列进一步提出细粒度专家与共享专家：把专家切得更细，再留几个所有 token 都用的共享专家，既提升了路由灵活性，又减少了冗余。Mixtral-8x7b 则用极简的 top-2 路由，证明稀疏 MoE 能在开放权重圈跑通，推理成本却远低于同质量的稠密模型。 结论：能力与成本的权衡 MoE 的结论很清晰：在同等激活算力下，MoE 能训出比稠密模型强得多的能力，因为它的总知识容量大得多。DeepSeek-V3、Qwen 等 2024 年后的强模型普遍采用 MoE，总参数百 B 而激活只几 B 到几十 B。但代价也实在：一是显存，所有专家权重都得装在显存里，总参数大意味着推理时显存占用并不低；二是路由不稳定、专家崩塌等训练工程问题。所以 MoE 不是免费午餐，它把「算力墙」换成了「显存墙与工程墙」。 收束 MoE 的核心洞见是：不是所有 token 都需要动用所有能力。把模型拆成各司其职的专家，按需调用，是 scaling law 之外另一条扩模思路。理解「总参数 vs 激活参数」这组概念，再看 DeepSeek 这类模型的成本优势，就不会被「320B 但只要几十 B 算力」的宣传绕晕——它强，是因为参数多；它便宜，是因为每次只醒一小部分。 ...

问题：之前的序列建模太慢 2017 年之前，处理文本这类序列的主流是 RNN、LSTM 这类循环网络。它们一个时间步一个时间步地读，无法并行——必须读完第 1 个词才能算第 2 个，长序列训练慢到难以忍受。更糟的是，距离很远的两个词之间要经过几十步循环才能「联系」上，梯度在传播中容易消失，长程依赖学不牢。Google 的这篇论文提出一个激进主张：彻底丢掉循环和卷积，只用注意力机制（self-attention）来建模整个序列。结果它在机器翻译上不仅更快，而且效果更好。这就是 Transformer，后来一切大模型的地基。 核心：自注意力到底在算什么 自注意力的本质是让序列中每个词，去「看」其他所有词，并按相关程度加权汇总信息。它用三个可学习矩阵把每个词向量投影成 Query（我在找什么）、Key（我有什么）、Value（我能提供什么）。词与词之间用 Query 和 Key 点积算相似度，softmax 归一化成权重，再对 Value 加权求和。这个计算可以完全并行——所有词的注意力同时算，这是它比 RNN 快的根本。 多头与位置编码 单头注意力只能捕捉一种关系，于是论文用多头（multi-head）：把向量切成多组，每组独立做注意力，最后拼接。不同的头可以学不同的关系——有的头关注语法邻近，有的头关注指代照应。另一个关键细节是位置编码：注意力本身对词序无感（打乱顺序结果一样），所以必须给每个位置加一个位置信号，让模型知道谁先谁后。原始论文用正余弦函数，后来的模型多改用可学习的位置嵌入或旋转位置编码（RoPE）。 结论与影响 论文在 WMT 2014 英德、英法翻译任务上刷新了当时的最优，训练成本却远低于此前模型。更重要的是它留下了可扩展性：堆叠更多层、喂更多数据，性能就持续涨——这个 scaling law 的苗头，直接催生了后来 GPT、BERT 一路堆上去的路线。2017 年它只是一个更好的翻译模型，到 2026 年，从语言到图像（ViT）到视频，几乎所有模态都长在了这套注意力骨架上。 收束 回看这篇论文，真正的洞见不是某个技巧，而是「用并行的全局关联替代串行的递推」这个范式转换。它把序列建模从时间依赖解放成了可大规模并行的矩阵运算，才让今天的算力堆叠成为可能。理解自注意力、多头、位置编码这三件事，就理解了大模型为什么能、以及为什么这样运转。 去论坛讨论 关于「Transformer」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。