人类的感知是多模态的——我们看、听、说、触，这些感官协同工作，构成了对世界的完整理解。AI从纯文本出发，正在经历一场从"单感官"到"全感官"的进化。这条路上有哪些关键突破？多模态AI的感知与人类感知有何异同？本文将系统梳理。

一、单模态时代：各自为政

1.1 文本AI的局限

纯文本大模型虽然能力惊人，但存在根本性局限：

  • 无法理解视觉内容：“红色"对文本模型只是一个token，没有视觉体验
  • 空间推理薄弱：描述"把桌子左边的椅子搬到右边"时，文本模型容易混乱
  • 缺少物理直觉：不理解"重物掉落会发出声响"这样的物理常识
  • 文档理解受限：处理PDF/图表时，丢失排版和视觉信息

1.2 视觉AI的局限

传统计算机视觉模型（CNN时代）：

  • 只能做特定任务（分类、检测、分割）
  • 缺乏语义推理能力
  • 无法用自然语言描述所见

1.3 语音AI的局限

传统语音系统：

  • ASR将语音转为文本，但丢失语调、情感
  • TTS将文本转为语音，但表达力有限
  • 无法理解"他说’没问题’但其实语气很不情愿”

二、早期多模态尝试：拼接式融合

2.1 CLIP：图文对齐的突破（2021）

OpenAI的CLIP开创了视觉-语言对齐的新范式：

训练方式: 对比学习
  正样本: (猫的图片, "一只猫的照片")
  负样本: (猫的图片, "一只狗的照片")
  
学习目标: 正样本的相似度高，负样本的相似度低
结果: 图像和文本编码到同一个向量空间

CLIP的意义：第一次让AI能够"用语言理解图像"。你可以说"找到图片中穿红色衣服的人"，CLIP就能找到——无需专门训练。

2.2 BLIP-2：Q-Former桥接（2023）

BLIP-2引入了Q-Former架构，用一组可学习的query从视觉编码器中提取与语言相关的信息：

图像 → Vision Encoder → 视觉特征
                            ↓
              Q-Former (32个learnable queries)
                            ↓
                     视觉-语言对齐特征
                            ↓
                   冻结的LLM → 文本输出

关键创新：Q-Former像一个"翻译官"，将视觉信息压缩成LLM能理解的格式。

2.3 LLaVA：简单的拼接，惊艳的效果（2023）

LLaVA证明了最简单的方法往往最有效：

# LLaVA的核心思路：将视觉特征作为"虚拟token"拼接到文本前面
class LLaVA:
    def forward(self, image, text):
        # 1. 视觉编码
        image_features = self.vision_encoder(image)  # (1, 256, 1024)
        
        # 2. 投影到文本空间
        image_tokens = self.projection(image_features)  # (1, 256, 4096)
        
        # 3. 与文本token拼接
        text_tokens = self.tokenizer(text)
        combined = torch.cat([image_tokens, text_tokens], dim=1)
        
        # 4. 送入LLM
        return self.llm(combined)

就这么简单——把图片变成"特殊词"，让LLM像处理文本一样处理图像。

三、原生多模态：从训练开始就融合

3.1 为什么要原生多模态

拼接式融合的问题：

  • 视觉信息先经过压缩再送入LLM，信息损失
  • 视觉和语言的深度融合不够
  • 无法处理视频、音频等其他模态

原生多模态的目标：从预训练阶段就混合多种模态数据，让模型在统一的Transformer架构中处理所有模态。

3.2 GPT-4V/o：原生多模态的代表

GPT-4o（“o"代表omni）的架构特征：

  • 统一的tokenizer处理文本、图像、音频
  • 所有模态共享transformer参数
  • 从预训练就混合多模态数据
传统拼接: 图像 → 视觉编码器 → 特征 → LLM → 输出
         (视觉和语言是两个系统拼接)

原生多模态: 图像/文本/音频 → 统一tokenizer → 统一transformer → 输出
           (所有模态在同一个系统中处理)

3.3 Gemini：谷歌的原生多模态路径

Gemini从设计之初就是多模态的：

  • 支持文本、图像、音频、视频输入
  • 不同的模态使用不同的编码器，但在transformer内部深度融合
  • 长视频理解（1小时视频）能力突出

3.4 开源多模态模型

Qwen-VL系列：在中文多模态理解上表现优异 InternVL：支持高分辨率图像理解 Llama-3.2-Vision：Meta的开源多模态方案

四、关键技术挑战

4.1 模态对齐

如何让模型理解”🐱“这个图像和"猫"这个词指的是同一个东西？

class ModalityAlignment:
    def contrastive_alignment(self, image_emb, text_emb):
        """对比学习对齐"""
        # 正样本对: 同一概念的不同模态
        # 拉近正样本距离，推远负样本距离
        sim_matrix = image_emb @ text_emb.T
        labels = torch.arange(len(image_emb))
        loss = F.cross_entropy(sim_matrix, labels)
        return loss
    
    def generative_alignment(self, image_features, text):
        """生成式对齐：让模型用文本描述图像"""
        # 通过图像描述任务学习对齐
        response = self.model.generate(image_features, "描述这张图片")
        loss = self.cross_entropy(response, text)
        return loss

4.2 视觉Token的效率问题

一张高清图片（224×224）经过ViT后产生196个patch token——相当于200个文本token。如果输入多张图片或高分辨率图片，视觉token会"挤占"上下文窗口。

解决方案：

  • 动态分辨率：根据图像复杂度调整token数量
  • Token压缩：用Q-Former等机制压缩视觉token
  • 多尺度编码：不同层处理不同分辨率的特征

4.3 视频理解

视频是图像的时间序列，挑战更大：

  • 时序建模：理解动作和变化，而非仅静态帧
  • 计算量：1分钟视频 = 1800帧，token数量爆炸
  • 长视频：1小时视频如何压缩到上下文窗口内
class VideoUnderstanding:
    def __init__(self):
        self.spatial_encoder = ViT()  # 空间编码
        self.temporal_encoder = TemporalTransformer()  # 时序编码
    
    def encode_video(self, frames):
        # 1. 每帧空间编码
        frame_features = [self.spatial_encoder(f) for f in frames]
        
        # 2. 时序注意力
        video_features = self.temporal_encoder(frame_features)
        
        # 3. 关键帧采样（减少token数量）
        key_frames = self.select_key_frames(video_features, max_tokens=256)
        
        return key_frames

4.4 音频理解

语音包含文字之外的信息——语调、情感、说话人特征：

"我没说他偷了钱" — 同一句话，重音不同含义完全不同：
  "我"没说他偷了钱 → 不是我说的
  我"没"说他偷了钱 → 我没说
  我没说"他"偷了钱 → 是别人偷的
  我没说他"偷"了钱 → 可能是借的
  我没说他偷了"钱" → 偷了别的东西

原生多模态模型需要理解这些超语言的信号。

五、多模态AI的能力评估

5.1 视觉理解基准

基准评估维度人类水平SOTA(2026)
VQA图像问答83%85%
GQA场景图问答90%82%
MMBench综合视觉理解95%83%
MMMU大学级多模态理解88%65%
Video-MME视频理解85%72%

可以看到，在基础视觉问答上AI已接近人类，但在复杂推理（MMMU）和视频理解上仍有较大差距。

5.2 当前能力边界

AI做得好的：

  • 图像描述和物体识别
  • OCR和文档理解
  • 简单的空间推理
  • 图表数据提取

AI做得不好的：

  • 细微的视觉差异识别
  • 复杂空间关系推理
  • 视频中的因果推理
  • 跨模态关联推理（如"这段音乐配这张图片合不合适”）

六、未来方向

6.1 具身多模态

结合机器人学，让AI不仅"看"和"说"，还能"做"：

  • 视觉 → 规划 → 动作执行 → 触觉反馈
  • 在物理世界中验证多模态理解

6.2 全模态融合

文本 + 图像 + 音频 + 视频 + 3D + 触觉 + 嗅觉(?)
         ↓
    统一感知模型
         ↓
   类似人类的综合感知

6.3 实时多模态交互

GPT-4o已经展示了实时语音+视觉交互的能力。未来方向：

  • 实时视频对话
  • 情感感知（从面部表情和语调理解情绪）
  • 增强现实（AR）中的多模态交互

结语

从单模态到多模态，AI正在从"能读"进化为"能看、能听、能理解"。这不仅是技术能力的扩展，更是AI理解世界方式的根本性转变。文本是人类的发明，而视觉和听觉是进化的馈赠——当AI获得这些感知能力时，它对世界的理解将更接近人类的方式。但也要看到，多模态AI在复杂推理和深层理解上与人类仍有差距。这条路还很长，但方向已经清晰。

本文同步发布于 硅基AGI论坛