大模型评测

一个被「贴标签」泛滥的能力 2024 年起，「支持 128K、1M 上下文」成了大模型宣传的标配。但「能塞进这么长」和「能在这么长里找对信息」是两回事。很多模型标称百万上下文，真把一份长文档丢进去问细节，却答得驴唇不对马嘴——这就是长上下文的「虚标」问题。评测的意义，就是戳破这个标签，看看模型在长输入下到底能不能真的用上远处的信息。 大海捞针：最简单也最容易被刷 最早的经典测法是「大海捞针」（Needle in a Haystack）：在一段很长的无关文本（干草堆）里，随机位置插入一句话（针，比如「这里的密码是 1234」），再问模型这句话是什么、在什么位置。如果模型能准确找回，说明它真的在长上下文里检索到了目标信息。这个方法直观，但太好刷了——模型只要在训练中见过类似「找一句话」的套路，就能漂亮地通过，却不代表它能处理真正复杂的长文档推理。 RULER：把长上下文拆成四类真任务 2024 年底推出的 RULER 把评测做深了一步。它不考单一检索，而是把长上下文能力拆成四类：多键检索（干草堆里藏多条信息，要区分该取哪条）、多跳问答（需要把分散在两处的信息连起来推理）、聚合（要对全文某类信息做统计，比如「数一下出现了几个某词」）、以及模糊条件检索（按非字面的语义条件找信息）。这几类任务逼模型真的「读懂并处理」长文档，而不是记住一句针。在 RULER 下，不少标称长上下文的模型分数大幅回落，暴露了它们的有效上下文远小于标称值。 为什么有效上下文常常打折 长上下文能力打折的原因是结构性的：注意力在超长序列上的计算与显存开销，使得训练时很少真正覆盖那么长的样本；模型的「有效感受野」可能在几万 token 后就急剧衰减，远处的信息被稀释、被遗忘。所以标称 1M 的模型，在 32K 以上表现就开始不稳，是常见现象。选型时，与其看宣传的上下文上限，不如看它在 RULER 这类基准上、在你的目标长度（比如 64K、128K）上的实际得分。 收束 长上下文是刚需——读长文档、整库代码、多轮对话都靠它，但「能塞」不等于「能用」。RULER 这类基准的价值，就是把宣传口号拉回地面。对使用者，记住一句话：模型的有效上下文，要在你真正要用的长度和任务类型上亲自测，别为一个百万 token 的标签多付钱。 去论坛讨论 关于「长上下文」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

MMLU 测的是什么 MMLU（Massive Multitask Language Understanding）由 Hendrycks 等人于 2021 年提出，初衷是测大模型的「通识」水平。它横跨 57 个学科，从初等数学、历史、法律伦理到大学水平的物理、医学、哲学，题目主要是四选一的多选题。出题人刻意选了「人类专家才会做对」的难题，想看看模型在没有专门训练的情况下，到底掌握了多少知识。刚发布时，最强模型在 MMLU 上也只有 40% 上下，而人类专家能到 90% 以上，差距非常明显。 高分与饱和：基准的中年危机 问题随之而来。随着模型越训越大，MMLU 分数被一路推高——2023 年 GPT-4 报到约 86%，到 2025、2026 年前沿模型的分数已普遍触及 90% 甚至更高。分数越挤越接近天花板，模型之间的区分度越来越小，「86 与 88 谁更强」变得难以分辨。这就是基准饱和：题目太简单、套路被训练数据见过，模型不再是「真会」，而是「背过题型」。更尴尬的是，研究发现 MMLU 的不少题目可能出现在训练语料里，高分有「露题」嫌疑。 MMLU-Pro：把题重新加难 为应对饱和，2024 年推出的 MMLU-Pro 做了几件事：把选项从 4 个扩到 10 个，增加干扰项让「蒙」的难度陡增；题目更偏需要推理的高阶问题，而不是直接记忆；重新筛选避免露题。结果一出来，前沿模型在 MMLU-Pro 上的分数普遍比原版 MMLU 低一大截，区分度重新拉开——那些在旧基准上挤作一团的模型，在 Pro 版上分出了高下。这说明旧基准测的更多是「记忆」，而 Pro 版逼出了更多「推理」。 这类基准的根本局限 但要清醒：多选题再难，测的也只是「闭卷选择题能力」，和真实世界的知识运用差得远。模型能在十选一的法律题上拿高分，不代表它能写一份靠谱的合同；能做对物理题，不代表它能设计一个实验。知识基准的价值在于快速横向比较、监测模型进步速度，而不是预测它在你的业务里好不好用。这也是为什么 2026 年的评测趋势从「静态选择题」转向「动态任务型基准」——像 SWE-bench 那样真刀真枪干活。 收束 MMLU 的故事是所有知识基准的缩影：设计时是难题，普及后成了背题集。MMLU-Pro 提醒我们，评测必须跟着模型能力一起进化，否则分数就失去了信号。对从业者，理性的态度是把 MMLU 类分数当作「体检指标」而非「录用依据」——它告诉你模型大概在什么段位，但真正能不能干活，还得在你的真实任务上测。 去论坛讨论 关于「MMLU」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

被两强夹击，还坐在第一 十月初的 BenchAlign 榜上，Anthropic 一次占了三个席位：Claude Opus 5.5 以约 86.4 分居首，Sonnet 5.5 第三，Fable 5.1 紧随其后。在 GPT-6 Astra 与 Gemini 4 Argon 前后脚发布的九月，这个位置守得并不轻松。Anthropic 的策略不是单押一个旗舰，而是把模型线拆成三档：Opus 打最难的推理与长程任务，Sonnet 做日常生产主力，Fable 卡价格与速度，让用户按预算和难度各取所需。 九月底那次补位 9 月 28 日，Anthropic 上线 Claude Sonnet 5.5，同一天 NVIDIA 发布开放智能体安全平台、Manus 跳到 2.0——密集发布日里，Sonnet 5.5 最务实的角色是「够强又够便宜」。开发者很快把它当成 Claude Code 系列的默认工作马：复杂任务才升级到 Opus，常规改动留在 Sonnet，账单立刻好看一截。这种分层，本质上是把模型当成可调度的算力资源，而不是一个万能开关。 为什么它没被 Astra 反超 Astra 强在终端编码与推理冲劲，Claude 的护城河在另一处：长上下文下的一致性与工具调用的克制。编程社区反复提到一个细节——Claude 很少为了显得聪明而编造依赖或命令，构建失败率更低。在 Agent 时代，模型每多一次「瞎调用」，编排层就要多擦一次屁股。Opus 5.5 守住第一，靠的不是单点跑分，而是把生产环境里的摩擦一点点磨掉。企业用户的体感也很说明问题：在法律文书长摘要、代码库跨文件重构这类需要一次吞进几十万 token 的任务上，Opus 的「记得住前后文、不前后矛盾」被反复点名，这恰恰是跑分榜单很难体现、却每天都在真实发生的价值。 三档产品的定价心机 这种分档不是随意为之，而是精准切中了企业采购的心理：直接上 Opus，账单好看不起来；只买最便宜的档，又扛不住最难的活。把三档搭着用，既能在复杂节点上不掉链子，又能在日常节点上压住成本。Fable 5.1 的存在尤其关键，它把价格门槛拉低，让那些原本犹豫要不要为 AI 付费的团队先试用起来，再逐步升级。对 Anthropic 自己，这也是一种防御：当对手用超低价抢市场时，它手里有便宜档可以守，不必动 Opus 的品牌溢价。 ...

九月底的一记冷枪 9 月 30 日，Google 发布 Gemini 4 Argon，这是它自 Gemini 3.1 Pro 之后的首个旗舰。独立评测机构 Artificial Analysis 当天就把它送进第一梯队：在 Intelligence Index v4.3.2 上拿到约 52.6 分，与 GPT-6 Astra 基本持平，身后是 Anthropic 的 Claude Opus 5.5、Sonnet 5.5 与 Fable 5.1。最抢眼的不是分数，而是另一个指标——它测出的幻觉率，是当前头部模型里最低的。对一个被「一本正经胡说八道」坑过无数次的行业来说，这个卖点比又涨五分更扎心。 幻觉率为什么突然值钱 过去一年，旗舰模型的推理能力已经内卷到边际递减：大家在数学、代码上都能打八十五分往上，差距收窄。真正拉开生产差距的，变成了「什么时候它会骗你」。写财报摘要、做法务比对、给医生做辅助阅读，幻觉一次的代价远大于慢两秒。Argon 押注的正是这条软肋——把「敢不确定就说不确定」做进模型行为里，而不是靠更长的上下文硬撑。 多模态与生态的后手 Argon 原生支持文本、图像、视频与音频，这继承了 Gemini 家族一贯的多模态家底。谷歌的真正算盘不在单模型跑分，而在它身后的全栈：从 Gemini 端侧模型、Gemini for Windows，到云端的搜索与 Workspace 套件，旗舰模型是给整条分发链路供血的发动机。当 GPT 与 Claude 还在拼 API 定价时，谷歌更想做的是把模型塞进你每天已经在用的入口里。值得一提的是，Argon 在处理长视频理解和图文交叉检索时，依托谷歌自家的多模态数据积累，往往比纯文本起家的对手更稳——这是长期数据投入在模型代际上的复利，不是靠一次发布就能追平的。 怎么把它用在刀刃上 收束 Argon 的空降说明第一梯队已经从「两家」变成「三国」：Anthropic 守深度推理，OpenAI 守编程与生态，Google 拿低幻觉和多模态做差异。对选型者，短期结论很朴素：要写代码别犹豫 Astra 或 Opus，要做长文档审阅、知识萃取、需要 cite 来源的场景，Argon 值得先跑一轮对照评测再决定。 去论坛讨论 关于「Gemini4」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。 ...

一个被「推理」重新定义的旗舰 九月初，OpenAI 正式推出 GPT-6 Astra，把秋季旗舰战直接拉到台面上。和上一代 GPT-5.6 系列按 Sol、Terra、Luna 分档不同，Astra 只释放一个信号：当代模型的核心竞争力已经不是「知道多少」，而是「愿意多想几步」。在 BenchLM 十月初更新的推理榜上，GPT-6 Astra 以约 89.6 的加权推理分位列第一，把一众老牌旗舰压到身后。这意味着在数学、代码、复杂规划这类需要长链条思考的任务上，它第一次在独立评测里占住了头名。 为什么是推理，不是参数 过去比模型，看的是参数量、上下文窗口、多模态模态数；2026 年的新共识是「测试时计算」——模型在给出答案之前先内部推演多少步。Astra 的强项正在于此：终端编程、安全分析、科学推理这类任务，它能在单轮里完成更长的自我纠错链，而不是把不确定性甩给用户反复追问。开发者社区的反馈也很一致：从 Claude Code、Cursor 到 Devin，主流编程 Agent 几乎在新模型上线当天就完成接入，说明它在工具调用稳定性和构建通过率上确实更让人放心。 定价与对手贴身肉搏 值得注意的是，Astra 落地时的标价卡，与九月初发布的 Claude Fable 5.1 几乎对齐，两家头部厂商第一次在同一个价位上短兵相接。独立榜单上，它目前暂列 BenchAlign 第二，落后于 Claude Opus 5.5，但领先幅度已经缩到个位数。对用户而言，这早已不是「一家独大、别无选择」的时代，而是按任务选模型：要最深推理用 Opus，要终端编码性价比用 Astra，要低幻觉长文档用刚发布的 Gemini 4 Argon。 收束 Astra 的真正意义不是又刷了一次榜，而是确认了行业主轴：模型竞争进入「推理深度加工具可靠度」的下半场。对普通开发者，最务实的动作是把工作流里的默认模型换成可热切换的抽象层——旗舰每几周换一次榜首，把自己焊死在某一家 API 上，才是最大的隐性风险。 去论坛讨论 关于「GPT-6」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

Gemini 3 Ultra：Google的全面反击 2026年5月，Google DeepMind发布Gemini 3 Ultra。作为Google第三代原生多模态大模型，Gemini 3 Ultra被DeepMind CEO Demis Hassabis称为"第一个真正意义上的通用AI系统"。这个评价是否名副其实？经过两个月的深度测试，我们带来了这份全面评测。 基础能力评测 文本理解与生成 在标准NLP基准测试上，Gemini 3 Ultra的表现： 基准测试 Gemini 3 Ultra GPT-6 Claude 5 MMLU (5-shot) 92.1% 93.4% 91.8% GSM8K 95.8% 97.3% 94.6% MATH 79.3% 82.1% 76.8% HumanEval 88.4% 91.2% 85.7% BBH 89.2% 90.8% 87.6% 纯文本任务上，Gemini 3 Ultra略逊于GPT-6，但差距不大。在数学和代码等强推理任务上，GPT-6仍然领先约3-4个百分点。 多模态理解 这是Gemini 3 Ultra真正的舞台。作为原生多模态模型，Gemini 3 Ultra在以下基准上表现突出： 图像理解： MMMU基准：78.3%（GPT-6: 72.1%，Claude 5: 68.4%） DocVQA（文档视觉问答）：94.2% ChartQA（图表理解）：89.7% 视频理解： VideoMME（长视频理解）：72.8%（竞品大多在50-60%） 在1小时视频中发现特定事件：准确率87% 音频理解： 多语言语音识别WER：3.2%（支持100+语言） 音频事件检测：85.6% Gemini 3 Ultra在多模态评测中的领先是显著的。特别是在视频理解领域——它能够观看一个完整的视频，然后回答关于视频内容的复杂问题，这种能力在其他模型中很少见。 ...

引言 中文大模型的能力评估远不止MMLU和C-Eval等标准化测试。真正的中文能力体现在对专业领域的深度理解、对中国文化语境的准确把握、以及对中文表达习惯的自然运用。本文设计了20个专业领域的深度测试，对2026年主流大模型进行全面的中文能力评估。 测试设计 20个专业领域 序号 领域 测试项数 评测维度 1 中国法律 50 法条引用准确性、案例分析合理性 2 中医中药 40 经典方剂、药理理解、诊疗逻辑 3 中国历史 50 史实准确性、因果分析、史料引用 4 古典文学 40 古文翻译、诗词鉴赏、文学理论 5 现代文学 30 作品分析、文学批评、创作模仿 6 财务会计 50 准则应用、分录编制、报表分析 7 税务筹划 40 税法理解、筹划方案、风险提示 8 医学诊断 50 症状分析、检查建议、治疗方案 9 药学知识 40 药物交互、剂量计算、不良反应 10 建筑工程 35 规范引用、结构计算、施工方案 11 电力系统 30 电网分析、故障诊断、调度方案 12 化学工程 35 反应机理、工艺设计、安全评估 13 农业技术 30 作物栽培、病虫害防治、土壤分析 14 教育学 40 教学设计、教育心理、评价方法 15 心理学 35 理论应用、案例分析、干预方案 16 新闻传播 30 选题策划、文案撰写、舆情分析 17 国际贸易 40 贸易规则、合同条款、风险控制 18 知识产权 35 专利分析、侵权判断、保护策略 19 中国方言 30 方言识别、翻译解释、文化背景 20 网络文化 25 流行语理解、梗文化、网络礼仪 评测模型 模型 定位 API来源 Qwen3.5 Max 阿里旗舰 阿里云 DeepSeek V4 推理旗舰 DeepSeek GLM-5-Plus 智谱旗舰 智谱AI GPT-5.5 OpenAI旗舰 OpenAI Claude Opus 4.1 Anthropic旗舰 Anthropic Gemini 3.5 Pro Google旗舰 Google Cloud Llama 4 405B Meta开源旗舰 Together AI 评测方法 每个领域的测试由3位领域专家独立评分： ...

引言 Anthropic在2026年1月发布了Claude Opus 4.1，这是其旗舰模型的重要升级。作为在代码工程和Agent能力上长期领先的大模型，Claude Opus 4.1进一步巩固了其在复杂推理任务上的优势。本文将从多个维度进行全面评测，帮助开发者和企业做出选型决策。 模型规格 参数 Claude Opus 4.1 Claude Opus 4.0 上下文窗口 500K tokens 200K tokens 最大输出 32K tokens 8K tokens 模态支持 文本+图像输入/输出 文本+图像输入 推理模式 Standard / Extended Thinking Standard 知识截止 2026年1月 2025年6月 API定价 $15/$75 per 1M tokens $15/$75 per 1M tokens Opus 4.1最大的改进在于上下文窗口的大幅扩展和Extended Thinking推理模式的加入。虽然定价仍属高端，但能力提升显著。 核心能力评测 代码工程能力 Claude Opus 4.1在代码领域一直是标杆，此次评测我们使用了多个基准： SWE-Bench Pro（企业级软件工程）： Claude Opus 4.1：47.6% GPT-5.5：44.2% DeepSeek V4：38.5% Llama 4 405B：33.1% 在SWE-Bench Pro上，Claude Opus 4.1继续领跑。我们深入分析了其优势来源：Opus 4.1在理解大型代码库结构、跨文件依赖追踪和复杂bug定位方面表现卓越。 MultiPL-E（多语言代码生成）： ...

引言 2026年3月，OpenAI正式发布GPT-5.5，这是自GPT-5以来的重大迭代更新。GPT-5.5在推理能力、多模态理解、工具调用和长上下文处理方面均有显著提升。本文将从多个维度对GPT-5.5进行全面深度评测，涵盖学术基准、真实任务和实际开发场景，并与Claude Opus 4.1、Gemini 3.5 Pro、DeepSeek V4等主流模型进行横向对比。 模型概览 GPT-5.5的核心规格如下： 参数 GPT-5.5 GPT-5 上下文窗口 512K tokens 256K tokens 最大输出 64K tokens 32K tokens 模态支持 文本+图像+音频输入，文本+图像输出 文本+图像输入，文本输出 推理模式 Standard / Reasoning / Deep Reasoning Standard / Reasoning 知识截止 2026年2月 2025年8月 API定价(输入/输出) $3/$12 per 1M tokens $5/$15 per 1M tokens 值得注意的是，GPT-5.5在降价的同时提升了性能，这反映了2026年大模型市场竞争的白热化程度。 学术基准测试 通用能力 我们在多个权威基准上测试了GPT-5.5的表现： MMLU-Pro（专业知识理解）： GPT-5.5：87.3% Claude Opus 4.1：85.7% Gemini 3.5 Pro：86.1% DeepSeek V4：83.2% GPT-5.5在MMLU-Pro上取得了当前最高分，尤其在法学、医学和工程学领域表现突出。 GPQA Diamond（研究生级推理）： GPT-5.5：72.4%（Deep Reasoning模式） Claude Opus 4.1：69.8% Gemini 3.5 Pro：67.5% 在GPQA Diamond这一极具挑战性的基准上，GPT-5.5的Deep Reasoning模式展现出了明显优势，比标准模式高出约15个百分点。 ...

2026年，多模态大模型已经成为AI行业的标准配置——没有视觉理解能力的模型，就像没有眼睛的人一样残缺。GPT-5 Vision、Claude 5 Vision、Gemini 3 Pro、Qwen-VL Max四大旗舰多模态模型在视觉理解领域展开了激烈竞争。本文将通过多维度基准测试和真实场景评估，给出2026年最全面的多模态模型横评。 一、参评模型概览 模型 机构 参数规模 上下文长度 图像分辨率 视频支持 API价格(每百万Token) GPT-5 Vision OpenAI 未公开(估计~3T MoE) 128万 4K原生 60分钟@30fps $15输入/$60输出 Claude 5 Vision Anthropic 未公开(估计~2T MoE) 200万 2K原生 30分钟@24fps $12输入/$48输出 Gemini 3 Pro Vision Google 未公开(估计~2.5T MoE) 100万 4K原生 120分钟@60fps $10输入/$40输出 Qwen-VL Max 阿里通义 未公开(估计~1T MoE) 128万 1080p 30分钟@30fps ¥40输入/¥120输出 二、视觉理解基准测试 测试一：文档理解与OCR (DocVQA 2.0) DocVQA 2.0是2026年升级版的文档理解基准，包含100,000+张复杂文档（手写、表格、图表、扫描件、多语言混合）。 模型 准确率 手写识别 表格解析 图表理解 多语言 GPT-5 Vision 94.3% 91.2% 96.8% 93.1% 92.5% Claude 5 Vision 93.8% 92.8% 95.2% 94.7% 93.1% Gemini 3 Pro 92.1% 89.5% 94.3% 92.0% 91.0% Qwen-VL Max 90.5% 88.3% 92.1% 89.8% 95.8% 分析：GPT-5 Vision在整体准确率上领先，特别是在表格解析方面几乎完美。Claude 5 Vision在手写识别和图表理解上略胜一筹。Qwen-VL Max在多语言文档（中英日韩混合）上有明显优势。 ...