视觉

前言 多模态 AI 是 2026 年最火热的赛道之一。视觉理解不再只是"看图说话"，而是扩展到了视频分析、文档 OCR、图表理解、医学影像、工业检测等深层应用。本文横评目前最具代表性的五款多模态模型：GPT-5o、Gemini 2.0 Pro、LLaVA-1.6-34B、Qwen-VL2-72B 和 InternVL3-Chat-26B，从视觉感知、内容理解、输出质量三个维度给出详细对比。 一、参评模型概览 模型 开发商 视觉编码器 视觉理解分辨率 最大上下文 部署方式 GPT-5o OpenAI 专用 ViT 1280×1280 128K API 云端 Gemini 2.0 Pro Google PaliGemma 3072×3072 1M API 云端 Qwen-VL2-72B 阿里云 Qwen2 ViT 1536×1536 128K 开源可私有 LLaVA-1.6-34B LLaVA Team CLIP ViT-L 448×448 4K 开源可私有 InternVL3-26B 上海 AI Lab InternViT 1792×1792 128K 开源可私有 二、基准测试对比 2.1 主流多模态基准 基准 说明 VQAv2 通用视觉问答 DocVQA 文档理解（扫描件/PDF） ChartQA 图表数据分析 MathVista 数学视觉推理 AI2D 科学图表理解 MMBench 多维度综合评测 VideoMME 视频理解与问答 2.2 基准分数对比 模型 VQAv2 (%) DocVQA (%) ChartQA (%) MathVista (%) MMBench (%) GPT-5o 86.1 92.4 87.8 68.3 85.7 Gemini 2.0 Pro 84.3 89.6 85.2 71.2 83.4 Qwen-VL2-72B 83.7 88.1 82.6 64.9 81.2 LLaVA-1.6-34B 79.8 78.4 74.3 52.1 74.8 InternVL3-26B 85.2 90.3 84.7 66.4 83.9 2.3 视频理解基准 模型 VideoMME (%) EgoSchema (%) ActivityNet (%) 支持时长 GPT-5o 76.4 71.2 68.9 2 小时 Gemini 2.0 Pro 79.8 74.6 72.3 视频原生 Qwen-VL2 62.3 58.4 55.1 30 分钟 LLaVA-1.6 48.7 43.2 41.6 短视频 InternVL3 68.9 64.1 61.8 1 小时 三、分场景深度测试 3.1 场景一：PDF 文档理解与信息提取 测试集： 100 份混合类型的 PDF（合同、学术论文、发票、报告），提取关键字段和信息。 ...

引言 2026 年的多模态模型已不再局限于「看图说话」。GPT-5、Gemini 2.5 Ultra、Claude 4 等模型能同时处理图像、音频、视频，并进行跨模态推理。但多模态评估远比纯文本复杂——视觉理解不只是图像分类，音频理解不只是语音识别，视频理解更涉及时序推理。本文系统梳理 2026 年多模态评估的方法论与 Benchmark 现状。 一、视觉理解评估 1.1 评估维度体系 视觉理解 ├── 基础感知 │ ├── 物体识别 (Object Recognition) │ ├── 属性识别 (Attribute Recognition) │ └── 场景分类 (Scene Classification) ├── 视觉推理 │ ├── 空间推理 (Spatial Reasoning) │ ├── 关系推理 (Relational Reasoning) │ └── 物理推理 (Physical Reasoning) ├── 文档理解 │ ├── OCR / 文字提取 │ ├── 图表理解 (Chart QA) │ └── 文档推理 (Document QA) ├── 细粒度理解 │ ├── 计数 (Counting) │ ├── 差异检测 (Difference Detection) │ └── 细节描述 (Detailed Description) └── 创意理解 ├── 梗图理解 (Meme Understanding) ├── 艺术作品分析 └── UI/UX 理解 1.2 主流视觉 Benchmark Benchmark 评测重点 样本数 头部得分 区分度 VQAv2 基础视觉问答 1.1M 92%+ ⚠️ 饱和 GQA 组合视觉推理 22M 88%+ ⚠️ 接近饱和 ChartQA 图表理解 30K 85-90% ✅ 良好 DocVQA 文档问答 50K 92-95% ⚠️ 接近饱和 MMMU 多领域视觉推理 11.5K 65-72% ✅ 良好 MMBench 多维度视觉评估 6K 80-85% ✅ 良好 MathVista 数学视觉推理 6K 55-70% ✅ 高 RealWorldQA 真实世界理解 7K 70-78% ✅ 高 1.3 关键 Benchmark 详解 MMMU (Massive Multi-discipline Multimodal Understanding) MMMU 覆盖 30 个学科（艺术、科学、商业、医学等），要求模型基于图像进行大学级别的推理。 ...

VLM 为什么重要 2026 年，纯文本 LLM 已经不够用了。文档智能、医疗影像、工业质检、自动驾驶、内容审核——这些场景都需要模型"看懂"图片。视觉语言模型（VLM）是连接视觉和语言的桥梁。 VLM 的核心能力：把图像转化为语义理解，然后用自然语言回答关于图像的问题。 VLM 架构演进 第一代：拼接架构（2023） 图像 → CNN/ViT 提取特征 → 拼接到文本 embedding → LLM 处理 代表：LLaVA、MiniGPT-4。简单粗暴，但图像特征和文本特征对齐差。 第二代：交叉注意力（2024） 图像 → ViT → 交叉注意力层融合到 LLM 的每一层 代表：Flamingo、Qwen-VL。更精细的特征融合，但对齐训练复杂。 第三代：原生多模态（2025-2026） 图像 patch → 直接作为 token 序列输入 LLM（统一架构） 代表：GPT-4o、Gemini 2.0。图像和文本在同一个 transformer 中处理，端到端训练。这是当前最优方案。 架构对比： 架构 图文对齐 训练复杂度 推理效率 代表模型 拼接 差 低 高 LLaVA 交叉注意力 中 高 中 Qwen-VL 原生多模态 优 极高 中 GPT-4o, Gemini 主流 VLM 对比 模型 厂商 图像分辨率 视频支持 音频支持 多图理解 中文OCR GPT-4o OpenAI 2048×2048 ✅ ✅ ✅ ★★★★ Claude 3.5 Anthropic 1568×1568 ❌ ❌ ✅ ★★★☆ Gemini 2.0 Pro Google 4096×4096 ✅ (1h) ✅ ✅ ★★★★ Gemini 2.0 Flash Google 4096×4096 ✅ (10min) ✅ ✅ ★★★☆ Qwen3-VL 阿里 4K ✅ ❌ ✅ ★★★★★ GLM-5V 智谱 2K ✅ ❌ ✅ ★★★★★ 关键能力深度测试 OCR / 文字识别 模型 中文印刷体 中文手写体 复杂排版 表格识别 公式识别 GPT-4o 95% 78% 88% 85% 82% Gemini 2.0 Pro 93% 75% 90% 88% 85% Qwen3-VL 97% 82% 92% 90% 80% GLM-5V 96% 80% 90% 87% 78% 结论：Qwen3-VL 在中文 OCR 上领先，得益于训练数据中大量中文文档。Gemini 在表格和公式识别上有优势。 ...

VLM 架构演进 视觉语言模型（Vision-Language Model, VLM）的发展经历了三个主要阶段： 第一代：对齐架构（CLIP/BLIP） 图像 → 视觉编码器(ViT) ──┐ ├── 对比学习/交叉注意力 → 相似度/描述 文本 → 文本编码器(BERT) ──┘ CLIP 和 BLIP 采用双编码器架构，主要用于图文检索和零样本分类，不具备生成能力。 第二代：桥接架构（LLaVA/MiniGPT-4） 图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成 LLaVA 开创了"视觉编码器 + 投影层 + LLM"的范式，成为开源 VLM 的事实标准。 第三代：原生多模态（GPT-4V/Gemini/Qwen2-VL） 图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成 ↑ 训练时即融合多模态 原生多模态模型从训练初期就同时处理文本和图像，而非后期拼接。 主流 VLM 对比 模型 参数量 视觉编码器 上下文 分辨率 视频 开源 GPT-4o ~200B 内置 128K 2048×2048 ✅ 否 Claude 4 Opus ~200B 内置 200K 2048×2048 ✅ 否 Gemini 2.5 ~300B 内置 1M 4096×4096 ✅ 否 Qwen2.5-VL-72B 72B ViT(675M) 128K 原生4K ✅ ✅ InternVL2.5-78B 78B InternViT(6B) 128K 4K ✅ ✅ LLaVA-OneVision-72B 72B SigLIP(0.4B) 32K 768px ✅ ✅ GLM-4V-Plus ~130B ViT-H 128K 1344px ✅ 否 Pixtral 12B 12B Pixtral-ViT 128K 1024px ❌ 否 Gemma-3-27B 27B SigLIP-L 128K 896px ❌ ✅ 架构深度解析 LLaVA 架构（开源标杆） class LLaVA(nn.Module): def __init__(self, llm, vision_tower, mm_projector): self.llm = llm # 任意 LLM (Llama/Qwen/Mistral) self.vision_tower = vision_tower # 通常是 CLIP-ViT-L/14 self.mm_projector = mm_projector # MLP 投影层 def forward(self, images, input_ids): # 1. 视觉编码 image_features = self.vision_tower(images) # [batch, n_patches, 1024] # 2. 投影到 LLM 空间 image_embeds = self.mm_projector(image_features) # [batch, n_patches, 4096] # 3. 替换 <image> 占位符 text_embeds = self.llm.embed_tokens(input_ids) # 找到 <image> token 位置，替换为 image_embeds merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero() final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices) # 4. LLM 处理 return self.llm(inputs_embeds=final_embeds) Qwen2.5-VL 的动态分辨率 Qwen2.5-VL 引入了原生动态分辨率（NaViD），这是相比 LLaVA 固定分辨率的重要改进： ...