视觉语言模型

多模态融合的三个阶段 多模态大模型的发展经历了三个阶段：模态对齐（CLIP）、模态桥接（LLaVA）、原生多模态（GPT-4o）。每个阶段都代表着对"如何让模型同时理解图像和文本"这一核心问题的不同回答。 第一阶段：CLIP双塔对齐 OpenAI在2021年提出的CLIP开创了对比学习对齐范本。CLIP分别用图像编码器和文本编码器提取特征，通过对比损失拉正样本对、推负样本对： class CLIP(nn.Module): def __init__(self, image_encoder, text_encoder, dim=512): self.image_encoder = image_encoder self.text_encoder = text_encoder self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07)) def forward(self, images, texts): image_features = self.image_encoder(images) text_features = self.text_encoder(texts) # 归一化 image_features = F.normalize(image_features, dim=-1) text_features = F.normalize(text_features, dim=-1) # 对比损失 logit_scale = self.logit_scale.exp() logits = logit_scale * image_features @ text_features.T return logits CLIP的局限在于它是"理解"而非"生成"——可以判断图文匹配度，但不能生成图像描述或根据文本生成图像。但它奠定了后续多模态模型的基础：CLIP的视觉编码器被广泛应用于Stable Diffusion、LLaVA等模型中。 第二阶段：桥接架构（LLaVA） LLaVA代表了"视觉编码器+LLM"的桥接架构。核心思路是将图像编码为"视觉token"插入LLM的输入序列： [文本token] + [视觉token1] [视觉token2] ... [视觉tokenN] + [文本token] 关键设计选择： 视觉编码器选择 大多数模型使用CLIP ViT-L/14作为视觉编码器。它经过4亿图文对训练，视觉特征质量高。但也有例外：Qwen-VL使用自研的视觉编码器，支持动态分辨率。 连接器设计 连接器负责将视觉编码器的输出适配到LLM的输入空间： 线性投影（LLaVA-1.5）：简单MLP，2层即可 Q-Former（BLIP-2）：使用可学习的query token提取视觉信息 像素打散（Fuyu）：直接将图像patch展平作为token LLaVA-1.5的线性投影看似简单，但在实践中效果最好——简单即有效。 分辨率处理 标准CLIP使用224x224分辨率，这限制了对细节的识别。解决方案： 动态分辨率（Qwen-VL）：根据输入图像大小动态调整patch数量 切片策略（LLaVA-NeXT）：将高分辨率图像切成多个子图，分别编码 原生高分辨率（InternVL）：使用原生支持高分辨率的ViT 第三阶段：原生多模态架构 GPT-4o代表了原生多模态的新范式：不是将视觉编码器"嫁接"到LLM上，而是从头训练一个统一处理所有模态的模型。 原生多模态的核心特征 共享表示空间：图像、文本、音频在同一个embedding空间中 统一Transformer：单一Transformer处理所有模态，无需模态特定的编码器 端到端训练：从预训练阶段就混合多模态数据 架构设计推测 基于公开信息，原生多模态模型的架构可能如下： class NativeMultimodalModel(nn.Module): def __init__(self, dim=4096, n_layers=32): # 统一的token化器 self.text_tokenizer = TextTokenizer() self.image_tokenizer = ImageTokenizer() # VQ-VAE或类似 self.audio_tokenizer = AudioTokenizer() # 统一Transformer self.transformer = Transformer(dim, n_layers) # 统一输出头 self.text_head = nn.Linear(dim, vocab_size) self.image_head = nn.Linear(dim, image_codebook_size) self.audio_head = nn.Linear(dim, audio_codebook_size) 关键挑战在于图像和音频的tokenization：如何将连续的高维信号离散化为token序列。VQ-VAE和其变体（VQ-GAN、FSQ）是主流方案。 ...

人类的感知是多模态的——我们看、听、说、触，这些感官协同工作，构成了对世界的完整理解。AI从纯文本出发，正在经历一场从"单感官"到"全感官"的进化。这条路上有哪些关键突破？多模态AI的感知与人类感知有何异同？本文将系统梳理。 一、单模态时代：各自为政 1.1 文本AI的局限 纯文本大模型虽然能力惊人，但存在根本性局限： 无法理解视觉内容：“红色"对文本模型只是一个token，没有视觉体验 空间推理薄弱：描述"把桌子左边的椅子搬到右边"时，文本模型容易混乱 缺少物理直觉：不理解"重物掉落会发出声响"这样的物理常识 文档理解受限：处理PDF/图表时，丢失排版和视觉信息 1.2 视觉AI的局限 传统计算机视觉模型（CNN时代）： 只能做特定任务（分类、检测、分割） 缺乏语义推理能力 无法用自然语言描述所见 1.3 语音AI的局限 传统语音系统： ASR将语音转为文本，但丢失语调、情感 TTS将文本转为语音，但表达力有限 无法理解"他说’没问题’但其实语气很不情愿” 二、早期多模态尝试：拼接式融合 2.1 CLIP：图文对齐的突破（2021） OpenAI的CLIP开创了视觉-语言对齐的新范式： 训练方式: 对比学习 正样本: (猫的图片, "一只猫的照片") 负样本: (猫的图片, "一只狗的照片") 学习目标: 正样本的相似度高，负样本的相似度低 结果: 图像和文本编码到同一个向量空间 CLIP的意义：第一次让AI能够"用语言理解图像"。你可以说"找到图片中穿红色衣服的人"，CLIP就能找到——无需专门训练。 2.2 BLIP-2：Q-Former桥接（2023） BLIP-2引入了Q-Former架构，用一组可学习的query从视觉编码器中提取与语言相关的信息： 图像 → Vision Encoder → 视觉特征 ↓ Q-Former (32个learnable queries) ↓ 视觉-语言对齐特征 ↓ 冻结的LLM → 文本输出 关键创新：Q-Former像一个"翻译官"，将视觉信息压缩成LLM能理解的格式。 2.3 LLaVA：简单的拼接，惊艳的效果（2023） LLaVA证明了最简单的方法往往最有效： ...

混合分辨率的核心动机 在传统的Transformer中，所有token都被平等对待——无论这个token是高频细节（如图像中的边缘像素）还是低频概览（如文档的整体结构）。混合分辨率（Mixture of Resolutions）打破了这一平等假设：不同的token使用不同的空间/时间分辨率进行处理。 这一思想在视觉-语言模型（VLM）中尤为重要。图像中的不同区域对理解的重要性不同——主体区域需要高分辨率，背景区域可以使用低分辨率。 多尺度Transformer的基本架构 分层Tokenization 将输入转换为不同尺度的token序列： def multi_scale_tokenize(image, scales=[1, 0.5, 0.25]): """ 将图像编码为多个尺度的token序列 scales: 不同尺度的缩放因子 """ token_sequences = [] for scale in scales: # 缩放图像 scaled = F.interpolate(image, scale_factor=scale) # 分块编码 patches = patchify(scaled, patch_size=16) tokens = vision_encoder(patches) token_sequences.append(tokens) # 拼接所有尺度的token return torch.cat(token_sequences, dim=1) 分辨率路由器 使用路由器将token分配到不同分辨率处理路径： class ResolutionRouter(nn.Module): def __init__(self, d_model, n_resolutions=3): super().__init__() self.router = nn.Linear(d_model, n_resolutions) self.resolution_embeddings = nn.Parameter( torch.randn(n_resolutions, d_model) ) def forward(self, x): """ x: [batch, seq_len, d_model] """ # 路由分数 router_logits = self.router(x) # [batch, seq_len, n_res] router_probs = F.softmax(router_logits, dim=-1) # 选择分辨率 resolution_ids = router_probs.argmax(dim=-1) # [batch, seq_len] # 添加分辨率嵌入 resolution_emb = self.resolution_embeddings[resolution_ids] x = x + resolution_emb return x, resolution_ids 视觉-语言模型中的应用 高分辨率区域识别 在VLM中，系统需要识别图像中哪些区域需要高分辨率处理： ...

引言 真实世界的信息不只存在于文本中。图片、视频、音频、表格——这些非文本模态包含着文本无法替代的信息。传统的文本RAG无法处理"找一张包含红色汽车的产品图片"这类查询。 2026年，多模态RAG已经成为AI系统的标配能力。它能够跨模态检索信息、融合多模态上下文、生成多模态输出。本文将深入探讨多模态RAG的架构与实践。 一、多模态RAG的核心挑战 1.1 表示鸿沟 不同模态的数据需要不同的编码方式： 文本：文本embedding模型 图像：视觉embedding模型 音频：音频embedding模型 如何让不同模态的表示在同一个空间中可比？ 1.2 检索鸿沟 用户可能用文本查询图像，也可能用图像查询文本： 文本→图像: "找一张展示AI架构的图" 图像→文本: "这张图对应的技术文档在哪？" 图像→图像: "找类似的图片" 1.3 融合鸿沟 检索到的多模态信息如何融合？文本和图像的信息如何整合在一起喂给LLM？ 二、架构设计 2.1 整体架构 ┌─────────────────────────────────────────────┐ │ 多模态查询处理 │ │ (文本/图像/音频 → 统一表示) │ ├─────────────────────────────────────────────┤ │ 跨模态检索引擎 │ │ ┌─────────┬─────────┬─────────┐ │ │ │文本检索 │图像检索 │音频检索 │ │ │ └─────────┴─────────┴─────────┘ │ ├─────────────────────────────────────────────┤ │ 多模态融合层 │ │ (跨模态排序、上下文组装) │ ├─────────────────────────────────────────────┤ │ 多模态生成 │ │ (文本+图像+表格 → 统一回答) │ └─────────────────────────────────────────────┘ 2.2 多模态编码 class MultiModalEncoder: def __init__(self): self.text_encoder = load_model("text-embedding-3-large") self.image_encoder = load_model("clip-vit-large") self.audio_encoder = load_model("audio-embedding-model") async def encode(self, content, modality): """编码不同模态的内容""" if modality == "text": return await self.text_encoder.embed(content) elif modality == "image": return await self.image_encoder.encode(content) elif modality == "audio": return await self.audio_encoder.encode(content) elif modality == "mixed": # 混合内容：分别编码后融合 return await self.encode_mixed(content) async def encode_mixed(self, content): """编码混合模态内容""" embeddings = [] for item in content: emb = await self.encode(item["data"], item["modality"]) embeddings.append({"embedding": emb, "modality": item["modality"]}) # 使用跨模态对齐模型将不同模态的embedding映射到统一空间 unified = await self.align_embeddings(embeddings) return unified 2.3 跨模态对齐 使用CLIP等模型实现跨模态对齐： ...

从单模态到多模态：智能体的进化跃迁 2026 年的智能体已经不再满足于"只能读文字"的局限。用户希望 Agent 能看图说话、听音理解、看视频分析——这正是多模态智能体（Multimodal Agent）要解决的问题。 多模态智能体的核心挑战不在于"能不能处理图片"（GPT-4o 早就做到了），而在于如何让不同模态的信息在一个统一的推理框架中协同工作。一个成熟的多模态智能体需要做到： 跨模态理解：将图片中的信息与文本上下文融合 多模态推理：基于视觉证据进行逻辑推断 模态转换：文本→图片生成、图片→语音描述 时序处理：理解视频中的时间维度信息 本文将系统阐述多模态智能体的架构设计，并给出可落地的实现方案。 整体架构 ┌──────────────────────────────────────────────────────────────┐ │ Multimodal Agent Core │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Vision │ │ Audio │ │ Video │ │ Text │ │ │ │ Module │ │ Module │ │ Module │ │ Module │ │ │ └─────┬─────┘ └─────┬────┘ └─────┬────┘ └─────┬────┘ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ │ │ ┌──────────────────────────────────────────────────────┐ │ │ │ Multimodal Fusion Layer │ │ │ │ (Cross-Modal Attention + Shared Embedding Space) │ │ │ └──────────────────────────┬───────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌──────────────────────────────────────────────────────┐ │ │ │ Unified Reasoning Engine │ │ │ │ (LLM Core with Multimodal Capabilities) │ │ │ └──────────────────────────┬───────────────────────────┘ │ │ │ │ │ ┌─────────────────┼─────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ Tool Hub │ │ Memory Store │ │ Output Gen │ │ │ │ (Multimodal) │ │ (Vector+Graph)│ │ (Text/Img/ │ │ │ │ │ │ │ │ Audio/Video)│ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ └──────────────────────────────────────────────────────────────┘ 模态编码器：将世界转化为向量 视觉编码器 视觉模块负责将图片编码为 LLM 可理解的嵌入向量。当前主流方案对比： ...