VLM

人类的感知是多模态的——我们看、听、说、触，这些感官协同工作，构成了对世界的完整理解。AI从纯文本出发，正在经历一场从"单感官"到"全感官"的进化。这条路上有哪些关键突破？多模态AI的感知与人类感知有何异同？本文将系统梳理。 一、单模态时代：各自为政 1.1 文本AI的局限 纯文本大模型虽然能力惊人，但存在根本性局限： 无法理解视觉内容：“红色"对文本模型只是一个token，没有视觉体验 空间推理薄弱：描述"把桌子左边的椅子搬到右边"时，文本模型容易混乱 缺少物理直觉：不理解"重物掉落会发出声响"这样的物理常识 文档理解受限：处理PDF/图表时，丢失排版和视觉信息 1.2 视觉AI的局限 传统计算机视觉模型（CNN时代）： 只能做特定任务（分类、检测、分割） 缺乏语义推理能力 无法用自然语言描述所见 1.3 语音AI的局限 传统语音系统： ASR将语音转为文本，但丢失语调、情感 TTS将文本转为语音，但表达力有限 无法理解"他说’没问题’但其实语气很不情愿” 二、早期多模态尝试：拼接式融合 2.1 CLIP：图文对齐的突破（2021） OpenAI的CLIP开创了视觉-语言对齐的新范式： 训练方式: 对比学习 正样本: (猫的图片, "一只猫的照片") 负样本: (猫的图片, "一只狗的照片") 学习目标: 正样本的相似度高，负样本的相似度低 结果: 图像和文本编码到同一个向量空间 CLIP的意义：第一次让AI能够"用语言理解图像"。你可以说"找到图片中穿红色衣服的人"，CLIP就能找到——无需专门训练。 2.2 BLIP-2：Q-Former桥接（2023） BLIP-2引入了Q-Former架构，用一组可学习的query从视觉编码器中提取与语言相关的信息： 图像 → Vision Encoder → 视觉特征 ↓ Q-Former (32个learnable queries) ↓ 视觉-语言对齐特征 ↓ 冻结的LLM → 文本输出 关键创新：Q-Former像一个"翻译官"，将视觉信息压缩成LLM能理解的格式。 2.3 LLaVA：简单的拼接，惊艳的效果（2023） LLaVA证明了最简单的方法往往最有效： ...

引言 2026年的多模态模型已经远超"看图说话"的阶段。现代多模态模型能够理解图像中的细粒度细节、分析视频的时序信息、处理音频的情感特征，甚至跨模态推理。本文将为你提供系统化的多模态模型选型指南。 多模态能力分类 感知能力 图像理解：物体识别、场景理解、空间关系 视频理解：时序分析、事件检测、动作识别 音频理解：语音识别、情感分析、音乐理解 文档理解：OCR、表格识别、图表解析 推理能力 视觉问答：基于图像的多步推理 图文交叉推理：结合文本和图像进行推理 因果推理：理解视频中事件的因果关系 空间推理：3D空间理解 生成能力 图像描述：高质量图像描述生成 视频摘要：长视频内容摘要 跨模态翻译：图像到文本、文本到图像 主流多模态模型 全能型 Gemini 2.5 Ultra — 支持3模态（图/视频/音频），综合最强 GPT-5o — 实时多模态对话，延迟低 GPT-5 Vision — 图像理解最强 图像特化型 Claude 4 Vision — 文档和图表理解最佳 Qwen 3 VL 72B — 开源视觉最强 InternVL 3 78B — 中文视觉强 视频特化型 Gemini 2.5 Ultra — 长视频理解（2小时） VideoLLaMA 3 — 开源视频理解 Qwen 3 VL 72B — 开源视频理解最佳 音频特化型 Whisper 4 (OpenAI) — 语音识别最强 AudioLM 2 (Google) — 音频理解 Qwen 3 Audio — 中文语音理解 核心基准对比 视觉理解 (MMMU-Pro) 模型 得分 模态 GPT-5 Vision 72.1% 图像 Claude 4 Vision 69.8% 图像 Gemini 2.5 Ultra 67.5% 图像+视频 Qwen 3 VL 72B 62.3% 图像 InternVL 3 78B 60.1% 图像 视频理解 (VideoMME) 模型 得分 最大视频长度 Gemini 2.5 Ultra 76.8% 2小时 GPT-5 Vision 72.3% 10分钟 Qwen 3 VL 72B 68.5% 30分钟 VideoLLaMA 3 62.3% 10分钟 音频理解 模型 语音识别(WER) 情感分析 音频描述 Whisper 4 2.1% ✓ ✗ Gemini 2.5 Ultra 3.5% ✓ ✓ GPT-5o 2.8% ✓ ✓ 跨模态推理 跨模态推理要求模型结合多种模态进行推理： ...

引言 视觉语言模型（VLM）在2026年取得了突破性进展。从简单的图像描述到复杂的视觉推理，从单图理解到视频时序分析，视觉模型的能力边界正在快速扩展。本文将从实际应用场景出发，提供系统化的视觉模型选型指南。 主流视觉模型概览 闭源商业模型 GPT-5 Vision (OpenAI) — 综合视觉能力最强 Claude 4 Vision (Anthropic) — 文档和图表理解最佳 Gemini 2.5 Ultra (Google) — 视频和多图理解领先 GPT-5o (OpenAI) — 实时视觉对话专用 开源模型 Qwen 3 VL 72B (阿里) — 开源视觉模型之王 InternVL 3 78B (上海AI Lab) — 中文视觉理解强 Llama 4 Vision 90B (Meta) — 英文视觉通用 GLM-5V 32B (智谱AI) — 中文OCR和文档理解优秀 核心能力对比 图像理解 (VQAv2) 模型 得分 特点 GPT-5 Vision 92.3% 综合最佳，细粒度理解强 Gemini 2.5 Ultra 91.1% 多图对比能力强 Claude 4 Vision 89.7% 文档和图表最佳 Qwen 3 VL 72B 87.5% 开源最佳 InternVL 3 78B 86.2% 中文视觉强 Llama 4 Vision 90B 84.8% 通用能力均衡 GLM-5V 32B 83.5% OCR能力突出 OCR与文档理解 在OCR-Bench和DocVQA上： ...

VLM 为什么重要 2026 年，纯文本 LLM 已经不够用了。文档智能、医疗影像、工业质检、自动驾驶、内容审核——这些场景都需要模型"看懂"图片。视觉语言模型（VLM）是连接视觉和语言的桥梁。 VLM 的核心能力：把图像转化为语义理解，然后用自然语言回答关于图像的问题。 VLM 架构演进 第一代：拼接架构（2023） 图像 → CNN/ViT 提取特征 → 拼接到文本 embedding → LLM 处理 代表：LLaVA、MiniGPT-4。简单粗暴，但图像特征和文本特征对齐差。 第二代：交叉注意力（2024） 图像 → ViT → 交叉注意力层融合到 LLM 的每一层 代表：Flamingo、Qwen-VL。更精细的特征融合，但对齐训练复杂。 第三代：原生多模态（2025-2026） 图像 patch → 直接作为 token 序列输入 LLM（统一架构） 代表：GPT-4o、Gemini 2.0。图像和文本在同一个 transformer 中处理，端到端训练。这是当前最优方案。 架构对比： 架构 图文对齐 训练复杂度 推理效率 代表模型 拼接 差 低 高 LLaVA 交叉注意力 中 高 中 Qwen-VL 原生多模态 优 极高 中 GPT-4o, Gemini 主流 VLM 对比 模型 厂商 图像分辨率 视频支持 音频支持 多图理解 中文OCR GPT-4o OpenAI 2048×2048 ✅ ✅ ✅ ★★★★ Claude 3.5 Anthropic 1568×1568 ❌ ❌ ✅ ★★★☆ Gemini 2.0 Pro Google 4096×4096 ✅ (1h) ✅ ✅ ★★★★ Gemini 2.0 Flash Google 4096×4096 ✅ (10min) ✅ ✅ ★★★☆ Qwen3-VL 阿里 4K ✅ ❌ ✅ ★★★★★ GLM-5V 智谱 2K ✅ ❌ ✅ ★★★★★ 关键能力深度测试 OCR / 文字识别 模型 中文印刷体 中文手写体 复杂排版 表格识别 公式识别 GPT-4o 95% 78% 88% 85% 82% Gemini 2.0 Pro 93% 75% 90% 88% 85% Qwen3-VL 97% 82% 92% 90% 80% GLM-5V 96% 80% 90% 87% 78% 结论：Qwen3-VL 在中文 OCR 上领先，得益于训练数据中大量中文文档。Gemini 在表格和公式识别上有优势。 ...

VLM 评估维度 VLM 评估需同时考察视觉感知和语言推理两条链路。 ┌──────────┬──────────┬──────────┐ │ 感知层 │ 推理层 │ 生成层 │ 图像理解 │ 对象识别 │ 因果推理 │ 描述生成 │ 视频理解 │ 动作识别 │ 时序推理 │ 摘要生成 │ 3D 理解 │ 空间感知 │ 交互推理 │ 场景描述 │ └──────────┴──────────┴──────────┘ 感知层 能力 测试方法 对象识别 “图中有哪些物体” 属性识别 颜色、大小、材质 空间关系 物体间位置关系 细粒度识别 区分相似物体 OCR 识别图中文字 推理层 能力 示例 物理推理 “杯子从桌边掉落会怎样” 社会推理 “图中的人为什么生气” 多步推理 “根据路标该往哪走” 生成层 能力 示例 图像描述 无障碍 alt text 视觉问答 “图中时钟显示几点” 图文创作 看图写故事 核心基准 基准 规模 核心能力 特点 MMBench 2943题 20维度综合 中英双语，细粒度分类 MMMU 11.5K 学科知识+视觉 30学科，大学水平 SEED-Bench 19K 多模态理解 覆盖图像/视频/3D MME 2394 感知+认知 是/否问答 GQA 22M 场景图推理 结构化推理 MMBench 能力维度 ├── 粗粒度感知 (对象存在/计数/场景分类) ├── 细粒度感知 (属性/空间关系/OCR) ├── 推理 (物理/社会/逻辑) └── 关系 (图内/跨图) MME 评估 # Yes/No 问答，避免开放式生成的评分问题 def evaluate_mme(model, dataset): correct = 0 for item in dataset: for question, answer in item['questions']: pred = model.answer(item['image'], question) if normalize(pred) == answer.lower(): correct += 1 return correct / len(dataset) 视频理解评估 维度 基准 时序理解 MVBench, TempCompass 动作识别 Kinetics 视频问答 NExT-QA, EgoSchema 长视频理解 LongVideoBench 视频评估策略 def evaluate_video(model, video_path, questions): for q in questions: if q['type'] == 'temporal': frames = sample_frames(video_path, fps=2) # 密集采帧 elif q['type'] == 'action': frames = sample_keyframes(video_path, n=16) # 关键帧 else: frames = sample_uniform(video_path, n=8) # 均匀采样 answer = model.answer(frames, q['question']) 视频评估挑战 帧采样偏差：均匀采帧可能错过关键事件 时序长度：短视频和长视频需不同策略 计算成本：视频编码比图像贵 100x+ 3D 理解评估 基准 任务 数据形式 ScanQA 3D场景问答 点云+RGB-D 3D-LLM 3D场景对话 点云+语义标注 SpatialBench 空间关系推理 合成3D场景 评估陷阱 1. 数据泄露 def check_contamination(train_data, test_data): from imagehash import phash train_hashes = {phash(img) for img in train_data} leaked = sum(1 for img in test_data if phash(img) in train_hashes) return leaked / len(test_data) 2. 位置偏差 偏差 规避方法 位置A偏好 随机化选项顺序 末位偏好 选项排列组合测试 长度偏好 控制选项长度一致 3. 语言先验作弊 def test_vision_dependency(model, questions): with_image = [model.answer(q['image'], q['question']) for q in questions] without_image = [model.answer(None, q['question']) for q in questions] gap = accuracy(with_image) - accuracy(without_image) if gap < 0.1: print("警告：模型可能未有效利用视觉信息") 4. 指标陷阱 陷阱 解决方案 精确匹配过严 用语义相似度或LLM裁判 BLEU/ROUGE不适用 用 CIDEr 或 SPICE 多选准确率虚高 报告随机基线+normalized gain 实战建议 多基准组合：至少 3 个基准交叉评估 分维度报告：按感知/推理/生成分维度 做数据泄露检查：网络图片基准尤其注意 控制推理成本：视频和3D评估预算大 中英文分别评估：VLM 中英文能力差异可能很大 关注长尾能力：平均分高的模型可能特定维度很差 人工校验：抽 5-10% 人工复核确保指标可信 多模态评估仍在快速发展，保持对新方法和基准的关注，定期更新评估体系。 加入讨论 这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。 ...

VLM 架构演进 视觉语言模型（Vision-Language Model, VLM）的发展经历了三个主要阶段： 第一代：对齐架构（CLIP/BLIP） 图像 → 视觉编码器(ViT) ──┐ ├── 对比学习/交叉注意力 → 相似度/描述 文本 → 文本编码器(BERT) ──┘ CLIP 和 BLIP 采用双编码器架构，主要用于图文检索和零样本分类，不具备生成能力。 第二代：桥接架构（LLaVA/MiniGPT-4） 图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成 LLaVA 开创了"视觉编码器 + 投影层 + LLM"的范式，成为开源 VLM 的事实标准。 第三代：原生多模态（GPT-4V/Gemini/Qwen2-VL） 图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成 ↑ 训练时即融合多模态 原生多模态模型从训练初期就同时处理文本和图像，而非后期拼接。 主流 VLM 对比 模型 参数量 视觉编码器 上下文 分辨率 视频 开源 GPT-4o ~200B 内置 128K 2048×2048 ✅ 否 Claude 4 Opus ~200B 内置 200K 2048×2048 ✅ 否 Gemini 2.5 ~300B 内置 1M 4096×4096 ✅ 否 Qwen2.5-VL-72B 72B ViT(675M) 128K 原生4K ✅ ✅ InternVL2.5-78B 78B InternViT(6B) 128K 4K ✅ ✅ LLaVA-OneVision-72B 72B SigLIP(0.4B) 32K 768px ✅ ✅ GLM-4V-Plus ~130B ViT-H 128K 1344px ✅ 否 Pixtral 12B 12B Pixtral-ViT 128K 1024px ❌ 否 Gemma-3-27B 27B SigLIP-L 128K 896px ❌ ✅ 架构深度解析 LLaVA 架构（开源标杆） class LLaVA(nn.Module): def __init__(self, llm, vision_tower, mm_projector): self.llm = llm # 任意 LLM (Llama/Qwen/Mistral) self.vision_tower = vision_tower # 通常是 CLIP-ViT-L/14 self.mm_projector = mm_projector # MLP 投影层 def forward(self, images, input_ids): # 1. 视觉编码 image_features = self.vision_tower(images) # [batch, n_patches, 1024] # 2. 投影到 LLM 空间 image_embeds = self.mm_projector(image_features) # [batch, n_patches, 4096] # 3. 替换 <image> 占位符 text_embeds = self.llm.embed_tokens(input_ids) # 找到 <image> token 位置，替换为 image_embeds merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero() final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices) # 4. LLM 处理 return self.llm(inputs_embeds=final_embeds) Qwen2.5-VL 的动态分辨率 Qwen2.5-VL 引入了原生动态分辨率（NaViD），这是相比 LLaVA 固定分辨率的重要改进： ...