大模型评测

Gemini 3 Ultra：Google的全面反击 2026年5月，Google DeepMind发布Gemini 3 Ultra。作为Google第三代原生多模态大模型，Gemini 3 Ultra被DeepMind CEO Demis Hassabis称为"第一个真正意义上的通用AI系统"。这个评价是否名副其实？经过两个月的深度测试，我们带来了这份全面评测。 基础能力评测 文本理解与生成 在标准NLP基准测试上，Gemini 3 Ultra的表现： 基准测试 Gemini 3 Ultra GPT-6 Claude 5 MMLU (5-shot) 92.1% 93.4% 91.8% GSM8K 95.8% 97.3% 94.6% MATH 79.3% 82.1% 76.8% HumanEval 88.4% 91.2% 85.7% BBH 89.2% 90.8% 87.6% 纯文本任务上，Gemini 3 Ultra略逊于GPT-6，但差距不大。在数学和代码等强推理任务上，GPT-6仍然领先约3-4个百分点。 多模态理解 这是Gemini 3 Ultra真正的舞台。作为原生多模态模型，Gemini 3 Ultra在以下基准上表现突出： 图像理解： MMMU基准：78.3%（GPT-6: 72.1%，Claude 5: 68.4%） DocVQA（文档视觉问答）：94.2% ChartQA（图表理解）：89.7% 视频理解： VideoMME（长视频理解）：72.8%（竞品大多在50-60%） 在1小时视频中发现特定事件：准确率87% 音频理解： 多语言语音识别WER：3.2%（支持100+语言） 音频事件检测：85.6% Gemini 3 Ultra在多模态评测中的领先是显著的。特别是在视频理解领域——它能够观看一个完整的视频，然后回答关于视频内容的复杂问题，这种能力在其他模型中很少见。 ...

引言 中文大模型的能力评估远不止MMLU和C-Eval等标准化测试。真正的中文能力体现在对专业领域的深度理解、对中国文化语境的准确把握、以及对中文表达习惯的自然运用。本文设计了20个专业领域的深度测试，对2026年主流大模型进行全面的中文能力评估。 测试设计 20个专业领域 序号 领域 测试项数 评测维度 1 中国法律 50 法条引用准确性、案例分析合理性 2 中医中药 40 经典方剂、药理理解、诊疗逻辑 3 中国历史 50 史实准确性、因果分析、史料引用 4 古典文学 40 古文翻译、诗词鉴赏、文学理论 5 现代文学 30 作品分析、文学批评、创作模仿 6 财务会计 50 准则应用、分录编制、报表分析 7 税务筹划 40 税法理解、筹划方案、风险提示 8 医学诊断 50 症状分析、检查建议、治疗方案 9 药学知识 40 药物交互、剂量计算、不良反应 10 建筑工程 35 规范引用、结构计算、施工方案 11 电力系统 30 电网分析、故障诊断、调度方案 12 化学工程 35 反应机理、工艺设计、安全评估 13 农业技术 30 作物栽培、病虫害防治、土壤分析 14 教育学 40 教学设计、教育心理、评价方法 15 心理学 35 理论应用、案例分析、干预方案 16 新闻传播 30 选题策划、文案撰写、舆情分析 17 国际贸易 40 贸易规则、合同条款、风险控制 18 知识产权 35 专利分析、侵权判断、保护策略 19 中国方言 30 方言识别、翻译解释、文化背景 20 网络文化 25 流行语理解、梗文化、网络礼仪 评测模型 模型 定位 API来源 Qwen3.5 Max 阿里旗舰 阿里云 DeepSeek V4 推理旗舰 DeepSeek GLM-5-Plus 智谱旗舰 智谱AI GPT-5.5 OpenAI旗舰 OpenAI Claude Opus 4.1 Anthropic旗舰 Anthropic Gemini 3.5 Pro Google旗舰 Google Cloud Llama 4 405B Meta开源旗舰 Together AI 评测方法 每个领域的测试由3位领域专家独立评分： ...

引言 Anthropic在2026年1月发布了Claude Opus 4.1，这是其旗舰模型的重要升级。作为在代码工程和Agent能力上长期领先的大模型，Claude Opus 4.1进一步巩固了其在复杂推理任务上的优势。本文将从多个维度进行全面评测，帮助开发者和企业做出选型决策。 模型规格 参数 Claude Opus 4.1 Claude Opus 4.0 上下文窗口 500K tokens 200K tokens 最大输出 32K tokens 8K tokens 模态支持 文本+图像输入/输出 文本+图像输入 推理模式 Standard / Extended Thinking Standard 知识截止 2026年1月 2025年6月 API定价 $15/$75 per 1M tokens $15/$75 per 1M tokens Opus 4.1最大的改进在于上下文窗口的大幅扩展和Extended Thinking推理模式的加入。虽然定价仍属高端，但能力提升显著。 核心能力评测 代码工程能力 Claude Opus 4.1在代码领域一直是标杆，此次评测我们使用了多个基准： SWE-Bench Pro（企业级软件工程）： Claude Opus 4.1：47.6% GPT-5.5：44.2% DeepSeek V4：38.5% Llama 4 405B：33.1% 在SWE-Bench Pro上，Claude Opus 4.1继续领跑。我们深入分析了其优势来源：Opus 4.1在理解大型代码库结构、跨文件依赖追踪和复杂bug定位方面表现卓越。 MultiPL-E（多语言代码生成）： ...

引言 2026年3月，OpenAI正式发布GPT-5.5，这是自GPT-5以来的重大迭代更新。GPT-5.5在推理能力、多模态理解、工具调用和长上下文处理方面均有显著提升。本文将从多个维度对GPT-5.5进行全面深度评测，涵盖学术基准、真实任务和实际开发场景，并与Claude Opus 4.1、Gemini 3.5 Pro、DeepSeek V4等主流模型进行横向对比。 模型概览 GPT-5.5的核心规格如下： 参数 GPT-5.5 GPT-5 上下文窗口 512K tokens 256K tokens 最大输出 64K tokens 32K tokens 模态支持 文本+图像+音频输入，文本+图像输出 文本+图像输入，文本输出 推理模式 Standard / Reasoning / Deep Reasoning Standard / Reasoning 知识截止 2026年2月 2025年8月 API定价(输入/输出) $3/$12 per 1M tokens $5/$15 per 1M tokens 值得注意的是，GPT-5.5在降价的同时提升了性能，这反映了2026年大模型市场竞争的白热化程度。 学术基准测试 通用能力 我们在多个权威基准上测试了GPT-5.5的表现： MMLU-Pro（专业知识理解）： GPT-5.5：87.3% Claude Opus 4.1：85.7% Gemini 3.5 Pro：86.1% DeepSeek V4：83.2% GPT-5.5在MMLU-Pro上取得了当前最高分，尤其在法学、医学和工程学领域表现突出。 GPQA Diamond（研究生级推理）： GPT-5.5：72.4%（Deep Reasoning模式） Claude Opus 4.1：69.8% Gemini 3.5 Pro：67.5% 在GPQA Diamond这一极具挑战性的基准上，GPT-5.5的Deep Reasoning模式展现出了明显优势，比标准模式高出约15个百分点。 ...

2026年，多模态大模型已经成为AI行业的标准配置——没有视觉理解能力的模型，就像没有眼睛的人一样残缺。GPT-5 Vision、Claude 5 Vision、Gemini 3 Pro、Qwen-VL Max四大旗舰多模态模型在视觉理解领域展开了激烈竞争。本文将通过多维度基准测试和真实场景评估，给出2026年最全面的多模态模型横评。 一、参评模型概览 模型 机构 参数规模 上下文长度 图像分辨率 视频支持 API价格(每百万Token) GPT-5 Vision OpenAI 未公开(估计~3T MoE) 128万 4K原生 60分钟@30fps $15输入/$60输出 Claude 5 Vision Anthropic 未公开(估计~2T MoE) 200万 2K原生 30分钟@24fps $12输入/$48输出 Gemini 3 Pro Vision Google 未公开(估计~2.5T MoE) 100万 4K原生 120分钟@60fps $10输入/$40输出 Qwen-VL Max 阿里通义 未公开(估计~1T MoE) 128万 1080p 30分钟@30fps ¥40输入/¥120输出 二、视觉理解基准测试 测试一：文档理解与OCR (DocVQA 2.0) DocVQA 2.0是2026年升级版的文档理解基准，包含100,000+张复杂文档（手写、表格、图表、扫描件、多语言混合）。 模型 准确率 手写识别 表格解析 图表理解 多语言 GPT-5 Vision 94.3% 91.2% 96.8% 93.1% 92.5% Claude 5 Vision 93.8% 92.8% 95.2% 94.7% 93.1% Gemini 3 Pro 92.1% 89.5% 94.3% 92.0% 91.0% Qwen-VL Max 90.5% 88.3% 92.1% 89.8% 95.8% 分析：GPT-5 Vision在整体准确率上领先，特别是在表格解析方面几乎完美。Claude 5 Vision在手写识别和图表理解上略胜一筹。Qwen-VL Max在多语言文档（中英日韩混合）上有明显优势。 ...

在美中两国主导的大模型竞赛中，欧洲需要一个旗手。Mistral AI 从 2023 年的 Mistral 7B 起步，到 2026 年的 Mistral Large 3（123B），已成为欧洲 AI 最有分量的代表。但在 DeepSeek V4 和 Qwen3.5 的强势崛起下，Mistral Large 3 是否还能保持竞争力？本文将通过全面评测给出答案。 一、Mistral Large 3 概览 维度 Mistral Large 3 前代 Large 2 提升 参数量 123B 123B 持平 架构 Dense + GQA Dense + GQA 延续 上下文 128K 128K 持平 多模态 文本+图像 纯文本 新增 训练数据 18T 14T +29% 许可证 Apache 2.0 商业许可 全面开源 关键变化： 全面转向 Apache 2.0 开源——这是一个战略性决定 新增多模态能力（Pixtral 架构融合） 训练数据增加 29%，多语言覆盖扩展到 30+ 语言 Function Calling 原生支持 二、基础能力评测 通用能力 基准 Mistral Large 3 DeepSeek V4 Qwen3.5-72B Llama 4 Maverick GPT-5.5 MMLU-Pro 85.9 90.2 89.5 88.1 92.3 GPQA Diamond 69.8 78.3 76.1 74.5 83.6 MATH-500 71.8 82.6 80.3 77.8 89.2 HumanEval+ 89.7 94.1 93.8 92.3 96.1 MT-Bench 8.7 9.1 9.0 8.8 9.3 分析：Mistral Large 3 在所有基准上均落后于 DeepSeek V4 和 Qwen3.5-72B，差距在 4-11 分之间。最显著的差距在数学推理（-10.8 分 vs DeepSeek V4）。 ...