多模态

3.5 Flash 的核心定位：Agent 时代的低延迟引擎 Gemini 3.5 Flash 不是 3 Pro 的降配版。它是 Google 专门为 Agent 工作流设计的一款模型，核心设计目标是：在保持高质量输出的前提下，将端到端延迟压到人类感知阈值以下。 关键性能指标： 指标 Gemini 3.5 Flash Gemini 3 Pro GPT-5 Fable 5 首 token 延迟 (P50) 280ms 890ms 420ms 510ms 首 token 延迟 (P99) 680ms 2100ms 1200ms 1400ms 输出速度 (tokens/s) 285 72 95 110 多模态输入 文本/图像/音频/视频 同左 文本/图像/音频 文本/图像 多模态输出 文本/图像/音频 文本/图像/音频 文本/图像 文本 上下文窗口 1M 2M 400K 500K API 输入价格 $0.35/M $3.5/M $2.5/M $3/M 280ms 的首 token 延迟是一个心理临界点——人类对 300ms 以内的响应延迟感知为「即时」。这意味着在对话式 Agent 场景中，Gemini 3.5 Flash 的响应体验接近人类对话节奏。 ...

引言 2026 年的多模态模型已不再局限于「看图说话」。GPT-5、Gemini 2.5 Ultra、Claude 4 等模型能同时处理图像、音频、视频，并进行跨模态推理。但多模态评估远比纯文本复杂——视觉理解不只是图像分类，音频理解不只是语音识别，视频理解更涉及时序推理。本文系统梳理 2026 年多模态评估的方法论与 Benchmark 现状。 一、视觉理解评估 1.1 评估维度体系 视觉理解 ├── 基础感知 │ ├── 物体识别 (Object Recognition) │ ├── 属性识别 (Attribute Recognition) │ └── 场景分类 (Scene Classification) ├── 视觉推理 │ ├── 空间推理 (Spatial Reasoning) │ ├── 关系推理 (Relational Reasoning) │ └── 物理推理 (Physical Reasoning) ├── 文档理解 │ ├── OCR / 文字提取 │ ├── 图表理解 (Chart QA) │ └── 文档推理 (Document QA) ├── 细粒度理解 │ ├── 计数 (Counting) │ ├── 差异检测 (Difference Detection) │ └── 细节描述 (Detailed Description) └── 创意理解 ├── 梗图理解 (Meme Understanding) ├── 艺术作品分析 └── UI/UX 理解 1.2 主流视觉 Benchmark Benchmark 评测重点 样本数 头部得分 区分度 VQAv2 基础视觉问答 1.1M 92%+ ⚠️ 饱和 GQA 组合视觉推理 22M 88%+ ⚠️ 接近饱和 ChartQA 图表理解 30K 85-90% ✅ 良好 DocVQA 文档问答 50K 92-95% ⚠️ 接近饱和 MMMU 多领域视觉推理 11.5K 65-72% ✅ 良好 MMBench 多维度视觉评估 6K 80-85% ✅ 良好 MathVista 数学视觉推理 6K 55-70% ✅ 高 RealWorldQA 真实世界理解 7K 70-78% ✅ 高 1.3 关键 Benchmark 详解 MMMU (Massive Multi-discipline Multimodal Understanding) MMMU 覆盖 30 个学科（艺术、科学、商业、医学等），要求模型基于图像进行大学级别的推理。 ...

VLM 为什么重要 2026 年，纯文本 LLM 已经不够用了。文档智能、医疗影像、工业质检、自动驾驶、内容审核——这些场景都需要模型"看懂"图片。视觉语言模型（VLM）是连接视觉和语言的桥梁。 VLM 的核心能力：把图像转化为语义理解，然后用自然语言回答关于图像的问题。 VLM 架构演进 第一代：拼接架构（2023） 图像 → CNN/ViT 提取特征 → 拼接到文本 embedding → LLM 处理 代表：LLaVA、MiniGPT-4。简单粗暴，但图像特征和文本特征对齐差。 第二代：交叉注意力（2024） 图像 → ViT → 交叉注意力层融合到 LLM 的每一层 代表：Flamingo、Qwen-VL。更精细的特征融合，但对齐训练复杂。 第三代：原生多模态（2025-2026） 图像 patch → 直接作为 token 序列输入 LLM（统一架构） 代表：GPT-4o、Gemini 2.0。图像和文本在同一个 transformer 中处理，端到端训练。这是当前最优方案。 架构对比： 架构 图文对齐 训练复杂度 推理效率 代表模型 拼接 差 低 高 LLaVA 交叉注意力 中 高 中 Qwen-VL 原生多模态 优 极高 中 GPT-4o, Gemini 主流 VLM 对比 模型 厂商 图像分辨率 视频支持 音频支持 多图理解 中文OCR GPT-4o OpenAI 2048×2048 ✅ ✅ ✅ ★★★★ Claude 3.5 Anthropic 1568×1568 ❌ ❌ ✅ ★★★☆ Gemini 2.0 Pro Google 4096×4096 ✅ (1h) ✅ ✅ ★★★★ Gemini 2.0 Flash Google 4096×4096 ✅ (10min) ✅ ✅ ★★★☆ Qwen3-VL 阿里 4K ✅ ❌ ✅ ★★★★★ GLM-5V 智谱 2K ✅ ❌ ✅ ★★★★★ 关键能力深度测试 OCR / 文字识别 模型 中文印刷体 中文手写体 复杂排版 表格识别 公式识别 GPT-4o 95% 78% 88% 85% 82% Gemini 2.0 Pro 93% 75% 90% 88% 85% Qwen3-VL 97% 82% 92% 90% 80% GLM-5V 96% 80% 90% 87% 78% 结论：Qwen3-VL 在中文 OCR 上领先，得益于训练数据中大量中文文档。Gemini 在表格和公式识别上有优势。 ...

Gemini 4.0 预告：谷歌的反击 Google DeepMind 在 2026 年 6 月发布 Gemini 4.0 预告，正式版预计 Q3 推出。从技术白皮书来看，这是谷歌在 AI 领域最激进的一次押注。 核心技术特性 原生全模态架构：Gemini 4.0 最大的技术创新是「Omni-Modal Transformer」，所有模态在模型底层共享同一个表示空间。这意味着模型可以「看」到图像，「听」到音频，并直接在统一的推理空间中处理——不是拼接，是真正的融合。 实时视频理解：支持实时视频流输入，延迟 < 500ms。这意味着 Gemini 4.0 可以实时描述摄像头看到的内容，为机器人导航和 AR 应用打开了大门。 1M 上下文 + 分层检索：采用类似 MemGPT 的分层记忆架构，自动在「工作记忆」和「长期记忆」之间调度，1M token 上下文的实际可用率大幅提升。 Agent Garden：谷歌同步发布 Agent Garden，一个开源的 Agent 工具生态，直接对标 Anthropic 的 MCP。 与竞品对比 能力 Gemini 4.0 (预告) GPT-5.5 Claude Opus 4.1 多模态融合 原生全模态 视觉+文本融合 视觉+文本 实时视频 ✅ ❌ ❌ 上下文 1M 2M 1M 开源生态 Agent Garden 封闭 MCP 价格预期 低（谷歌云补贴） 高 中 对行业的影响 多模态竞争升级：GPT-5.5 和 Claude 4 系列将被迫加速多模态原生融合的进度 Agent 工具生态分裂：MCP vs Agent Garden 的标准之争 价格战可能重启：谷歌可能用低价策略抢夺企业客户 值得关注的信号 Gemini 4.0 最值得关注的是「实时视频理解」能力。如果实际表现接近预告，这将开辟全新的应用场景： ...

VLM 评估维度 VLM 评估需同时考察视觉感知和语言推理两条链路。 ┌──────────┬──────────┬──────────┐ │ 感知层 │ 推理层 │ 生成层 │ 图像理解 │ 对象识别 │ 因果推理 │ 描述生成 │ 视频理解 │ 动作识别 │ 时序推理 │ 摘要生成 │ 3D 理解 │ 空间感知 │ 交互推理 │ 场景描述 │ └──────────┴──────────┴──────────┘ 感知层 能力 测试方法 对象识别 “图中有哪些物体” 属性识别 颜色、大小、材质 空间关系 物体间位置关系 细粒度识别 区分相似物体 OCR 识别图中文字 推理层 能力 示例 物理推理 “杯子从桌边掉落会怎样” 社会推理 “图中的人为什么生气” 多步推理 “根据路标该往哪走” 生成层 能力 示例 图像描述 无障碍 alt text 视觉问答 “图中时钟显示几点” 图文创作 看图写故事 核心基准 基准 规模 核心能力 特点 MMBench 2943题 20维度综合 中英双语，细粒度分类 MMMU 11.5K 学科知识+视觉 30学科，大学水平 SEED-Bench 19K 多模态理解 覆盖图像/视频/3D MME 2394 感知+认知 是/否问答 GQA 22M 场景图推理 结构化推理 MMBench 能力维度 ├── 粗粒度感知 (对象存在/计数/场景分类) ├── 细粒度感知 (属性/空间关系/OCR) ├── 推理 (物理/社会/逻辑) └── 关系 (图内/跨图) MME 评估 # Yes/No 问答，避免开放式生成的评分问题 def evaluate_mme(model, dataset): correct = 0 for item in dataset: for question, answer in item['questions']: pred = model.answer(item['image'], question) if normalize(pred) == answer.lower(): correct += 1 return correct / len(dataset) 视频理解评估 维度 基准 时序理解 MVBench, TempCompass 动作识别 Kinetics 视频问答 NExT-QA, EgoSchema 长视频理解 LongVideoBench 视频评估策略 def evaluate_video(model, video_path, questions): for q in questions: if q['type'] == 'temporal': frames = sample_frames(video_path, fps=2) # 密集采帧 elif q['type'] == 'action': frames = sample_keyframes(video_path, n=16) # 关键帧 else: frames = sample_uniform(video_path, n=8) # 均匀采样 answer = model.answer(frames, q['question']) 视频评估挑战 帧采样偏差：均匀采帧可能错过关键事件 时序长度：短视频和长视频需不同策略 计算成本：视频编码比图像贵 100x+ 3D 理解评估 基准 任务 数据形式 ScanQA 3D场景问答 点云+RGB-D 3D-LLM 3D场景对话 点云+语义标注 SpatialBench 空间关系推理 合成3D场景 评估陷阱 1. 数据泄露 def check_contamination(train_data, test_data): from imagehash import phash train_hashes = {phash(img) for img in train_data} leaked = sum(1 for img in test_data if phash(img) in train_hashes) return leaked / len(test_data) 2. 位置偏差 偏差 规避方法 位置A偏好 随机化选项顺序 末位偏好 选项排列组合测试 长度偏好 控制选项长度一致 3. 语言先验作弊 def test_vision_dependency(model, questions): with_image = [model.answer(q['image'], q['question']) for q in questions] without_image = [model.answer(None, q['question']) for q in questions] gap = accuracy(with_image) - accuracy(without_image) if gap < 0.1: print("警告：模型可能未有效利用视觉信息") 4. 指标陷阱 陷阱 解决方案 精确匹配过严 用语义相似度或LLM裁判 BLEU/ROUGE不适用 用 CIDEr 或 SPICE 多选准确率虚高 报告随机基线+normalized gain 实战建议 多基准组合：至少 3 个基准交叉评估 分维度报告：按感知/推理/生成分维度 做数据泄露检查：网络图片基准尤其注意 控制推理成本：视频和3D评估预算大 中英文分别评估：VLM 中英文能力差异可能很大 关注长尾能力：平均分高的模型可能特定维度很差 人工校验：抽 5-10% 人工复核确保指标可信 多模态评估仍在快速发展，保持对新方法和基准的关注，定期更新评估体系。 加入讨论 这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。 ...

VLM 架构演进 视觉语言模型（Vision-Language Model, VLM）的发展经历了三个主要阶段： 第一代：对齐架构（CLIP/BLIP） 图像 → 视觉编码器(ViT) ──┐ ├── 对比学习/交叉注意力 → 相似度/描述 文本 → 文本编码器(BERT) ──┘ CLIP 和 BLIP 采用双编码器架构，主要用于图文检索和零样本分类，不具备生成能力。 第二代：桥接架构（LLaVA/MiniGPT-4） 图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成 LLaVA 开创了"视觉编码器 + 投影层 + LLM"的范式，成为开源 VLM 的事实标准。 第三代：原生多模态（GPT-4V/Gemini/Qwen2-VL） 图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成 ↑ 训练时即融合多模态 原生多模态模型从训练初期就同时处理文本和图像，而非后期拼接。 主流 VLM 对比 模型 参数量 视觉编码器 上下文 分辨率 视频 开源 GPT-4o ~200B 内置 128K 2048×2048 ✅ 否 Claude 4 Opus ~200B 内置 200K 2048×2048 ✅ 否 Gemini 2.5 ~300B 内置 1M 4096×4096 ✅ 否 Qwen2.5-VL-72B 72B ViT(675M) 128K 原生4K ✅ ✅ InternVL2.5-78B 78B InternViT(6B) 128K 4K ✅ ✅ LLaVA-OneVision-72B 72B SigLIP(0.4B) 32K 768px ✅ ✅ GLM-4V-Plus ~130B ViT-H 128K 1344px ✅ 否 Pixtral 12B 12B Pixtral-ViT 128K 1024px ❌ 否 Gemma-3-27B 27B SigLIP-L 128K 896px ❌ ✅ 架构深度解析 LLaVA 架构（开源标杆） class LLaVA(nn.Module): def __init__(self, llm, vision_tower, mm_projector): self.llm = llm # 任意 LLM (Llama/Qwen/Mistral) self.vision_tower = vision_tower # 通常是 CLIP-ViT-L/14 self.mm_projector = mm_projector # MLP 投影层 def forward(self, images, input_ids): # 1. 视觉编码 image_features = self.vision_tower(images) # [batch, n_patches, 1024] # 2. 投影到 LLM 空间 image_embeds = self.mm_projector(image_features) # [batch, n_patches, 4096] # 3. 替换 <image> 占位符 text_embeds = self.llm.embed_tokens(input_ids) # 找到 <image> token 位置，替换为 image_embeds merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero() final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices) # 4. LLM 处理 return self.llm(inputs_embeds=final_embeds) Qwen2.5-VL 的动态分辨率 Qwen2.5-VL 引入了原生动态分辨率（NaViD），这是相比 LLaVA 固定分辨率的重要改进： ...

2026：具身智能的元年 如果说 2023 是大语言模型的爆发年，2026 正在成为具身智能（Embodied AI）的元年。Figure 02、Tesla Optimus Gen 3、宇树 H1 等人形机器人开始走出实验室，进入工厂和仓库。 什么是具身智能 具身智能 = AI 大脑 + 物理身体 + 环境交互 传统 AI 在虚拟世界中处理信息。具身智能在物理世界中感知、决策、行动： 感知层：视觉、触觉、听觉、本体感觉 ↓ 认知层：场景理解、任务规划、动作推理 ↓ 行动层：运动控制、力反馈、精细操作 核心技术突破 1. Vision-Language-Action 模型 VLA 模型将视觉理解、语言指令和动作控制统一到一个模型： class VLA_Model: def __init__(self): self.vision_encoder = SigLIP() # 视觉编码 self.language_encoder = LLM() # 语言理解 self.action_decoder = DiffusionPolicy() # 动作生成 def act(self, image, instruction): # 看图 → 理解指令 → 生成动作 visual_features = self.vision_encoder(image) context = self.language_encoder(instruction, visual_features) action = self.action_decoder(context) return action # 7-DOF 机械臂动作 代表模型：Google RT-2、Octo、OpenVLA。2026 年最新版本的 OpenVLA-2 在真实任务上的成功率达到 82%。 2. 仿真预训练 + 真实世界微调 训练流程： 1. 在仿真环境中训练基础策略（100万次+） 2. 用 Sim-to-Real 技术迁移到真实机器人 3. 在真实环境中微调（1000次左右） # Sim-to-Real 的域随机化 domain_randomization = { "lighting": "random_color_temp", "texture": "random_texture_swap", "physics": {"friction": "0.3-0.8", "mass": "±20%"}, "camera_pose": "±5cm translation, ±5° rotation", } 3. 触觉感知 2026 年的突破：触觉传感器成本从 $5000 降到 $200。 ...