跨模态

人类的感知是多模态的——我们看、听、说、触，这些感官协同工作，构成了对世界的完整理解。AI从纯文本出发，正在经历一场从"单感官"到"全感官"的进化。这条路上有哪些关键突破？多模态AI的感知与人类感知有何异同？本文将系统梳理。 一、单模态时代：各自为政 1.1 文本AI的局限 纯文本大模型虽然能力惊人，但存在根本性局限： 无法理解视觉内容：“红色"对文本模型只是一个token，没有视觉体验 空间推理薄弱：描述"把桌子左边的椅子搬到右边"时，文本模型容易混乱 缺少物理直觉：不理解"重物掉落会发出声响"这样的物理常识 文档理解受限：处理PDF/图表时，丢失排版和视觉信息 1.2 视觉AI的局限 传统计算机视觉模型（CNN时代）： 只能做特定任务（分类、检测、分割） 缺乏语义推理能力 无法用自然语言描述所见 1.3 语音AI的局限 传统语音系统： ASR将语音转为文本，但丢失语调、情感 TTS将文本转为语音，但表达力有限 无法理解"他说’没问题’但其实语气很不情愿” 二、早期多模态尝试：拼接式融合 2.1 CLIP：图文对齐的突破（2021） OpenAI的CLIP开创了视觉-语言对齐的新范式： 训练方式: 对比学习 正样本: (猫的图片, "一只猫的照片") 负样本: (猫的图片, "一只狗的照片") 学习目标: 正样本的相似度高，负样本的相似度低 结果: 图像和文本编码到同一个向量空间 CLIP的意义：第一次让AI能够"用语言理解图像"。你可以说"找到图片中穿红色衣服的人"，CLIP就能找到——无需专门训练。 2.2 BLIP-2：Q-Former桥接（2023） BLIP-2引入了Q-Former架构，用一组可学习的query从视觉编码器中提取与语言相关的信息： 图像 → Vision Encoder → 视觉特征 ↓ Q-Former (32个learnable queries) ↓ 视觉-语言对齐特征 ↓ 冻结的LLM → 文本输出 关键创新：Q-Former像一个"翻译官"，将视觉信息压缩成LLM能理解的格式。 2.3 LLaVA：简单的拼接，惊艳的效果（2023） LLaVA证明了最简单的方法往往最有效： ...

引言 2026年的多模态模型已经远超"看图说话"的阶段。现代多模态模型能够理解图像中的细粒度细节、分析视频的时序信息、处理音频的情感特征，甚至跨模态推理。本文将为你提供系统化的多模态模型选型指南。 多模态能力分类 感知能力 图像理解：物体识别、场景理解、空间关系 视频理解：时序分析、事件检测、动作识别 音频理解：语音识别、情感分析、音乐理解 文档理解：OCR、表格识别、图表解析 推理能力 视觉问答：基于图像的多步推理 图文交叉推理：结合文本和图像进行推理 因果推理：理解视频中事件的因果关系 空间推理：3D空间理解 生成能力 图像描述：高质量图像描述生成 视频摘要：长视频内容摘要 跨模态翻译：图像到文本、文本到图像 主流多模态模型 全能型 Gemini 2.5 Ultra — 支持3模态（图/视频/音频），综合最强 GPT-5o — 实时多模态对话，延迟低 GPT-5 Vision — 图像理解最强 图像特化型 Claude 4 Vision — 文档和图表理解最佳 Qwen 3 VL 72B — 开源视觉最强 InternVL 3 78B — 中文视觉强 视频特化型 Gemini 2.5 Ultra — 长视频理解（2小时） VideoLLaMA 3 — 开源视频理解 Qwen 3 VL 72B — 开源视频理解最佳 音频特化型 Whisper 4 (OpenAI) — 语音识别最强 AudioLM 2 (Google) — 音频理解 Qwen 3 Audio — 中文语音理解 核心基准对比 视觉理解 (MMMU-Pro) 模型 得分 模态 GPT-5 Vision 72.1% 图像 Claude 4 Vision 69.8% 图像 Gemini 2.5 Ultra 67.5% 图像+视频 Qwen 3 VL 72B 62.3% 图像 InternVL 3 78B 60.1% 图像 视频理解 (VideoMME) 模型 得分 最大视频长度 Gemini 2.5 Ultra 76.8% 2小时 GPT-5 Vision 72.3% 10分钟 Qwen 3 VL 72B 68.5% 30分钟 VideoLLaMA 3 62.3% 10分钟 音频理解 模型 语音识别(WER) 情感分析 音频描述 Whisper 4 2.1% ✓ ✗ Gemini 2.5 Ultra 3.5% ✓ ✓ GPT-5o 2.8% ✓ ✓ 跨模态推理 跨模态推理要求模型结合多种模态进行推理： ...