阿里通义千问发布Qwen3.8-Omni-Flash多模态模型，支持文本、图像、音频、视频输入，上下文长度达1M（100万token），30项评测平均性能提升26%。 核心能力 全模态输入：文字+图片+音频+视频 1M长上下文：可处理整本书或数小时视频 音视频增强：专门优化了音频和视频理解能力 价格优化：API定价进一步下调 适用场景 长文档分析：整本书、合同集、代码库 视频理解：长视频内容分析、会议纪要 音频处理：多语言语音识别、音频内容理解 多模态Agent：结合视觉和听觉的智能助手 国产模型格局 国产第一梯队已形成： Qwen3.8-Max：综合能力国产第一 DeepSeek V4.1 Flash：开源Agent能力最强 GLM-5.3：智谱旗舰 MiniMax M3：AI视频最强 小米MiMo-V2.6：新晋开源第一 竞争激烈，用户受益。
2026年9月，多模态成为大模型竞争的主战场。Qwen3.8-Omni-Flash支持文本+图像+音频+视频输入，1M上下文；Gemini 3.8 Flash集成Lyria 3.5音乐模型；GPT-6 Astra支持计算机操作。 模态扩展 视觉：图像理解已标配 音频：语音识别+音乐生成 视频：视频理解+生成 动作：计算机操作（computer use） 纯文本模型正在成为历史，全模态是标配。
国产旗舰的新高度 2026年8月3日，阿里云通义千问团队正式发布新一代基座大模型 Qwen3.8-Max。总参数量达到 2.4万亿，是继 Kimi K3 之后中国第二个参数规模突破两万亿的大模型。 这不仅是参数量的里程碑，更是一次战略姿态的宣示——旗舰模型首次开源。 硬核参数拆解 指标 Qwen3.8-Max 总参数 2.4万亿（MoE架构） 激活参数 约95B 上下文 原生256K，可扩展至百万级 模态 图文音视频全模态 开源 8月13日开源 2.4T-A95B 权重 MoE（混合专家）架构让"2.4万亿参数"不再意味着"2.4万亿的推理成本"——每次推理只激活约95B参数，在性能与成本之间找到了平衡点。 演示视频里的Agent能力 官方演示中，Qwen3.8-Max 在无人工干预的情况下连续自主编码16天完成复杂任务。Agent 能力的提升肉眼可见： 长程任务规划与自我纠错 工具调用与代码执行的自洽闭环 跨会话的持续上下文保持 定价与生态冲击 更激进的是定价策略：推理价格大幅下调，配合开源权重，Qwen3.8-Max 直接冲击了"旗舰模型必须闭源收费"的传统商业逻辑。 8月14日，Qwen3.8-27B 开源后两日内全球下载量破百万，开源生态的号召力得到验证。 结语 从 K3 到 Qwen3.8-Max，中国大模型在2万亿参数俱乐部站稳了脚跟。而"旗舰开源"这一步，把竞争从模型能力延伸到了生态建设——谁能留住开发者，谁才能赢得下一程。
引言 Google在2026年初发布了Gemini 3系列，这是自Gemini 1.0以来最大的一次架构升级。与OpenAI专注于"更强模型"的路径不同，Google的策略是"模型+Agent+平台"三位一体。本文将从模型能力、Agent框架、生态整合三个维度进行深度评测。 模型能力评测 基准测试 我们在标准化环境下对Gemini 3进行了全面测试： 评测集 Gemini 3 Pro Gemini 3 Ultra GPT-5 Claude 4.5 MMLU-Pro 84.2 87.1 86.5 85.8 GPQA Diamond 62.3 68.7 65.1 64.2 SWE-Bench Verified 41.5 48.3 52.1 49.7 MATH-500 78.9 83.4 85.2 80.1 HumanEval+ 91.3 94.7 93.8 92.5 MMMU (多模态) 72.1 76.8 68.3 65.7 Gemini 3在多模态理解上显著领先，在编程和数学推理上与GPT-5互有胜负。 超长上下文能力 Gemini 3 Ultra支持200万token的上下文窗口，是目前商用模型中最长的： from google.genai import Client client = Client(api_key="YOUR_API_KEY") # 处理整本技术文档（约150万字） with open("full_documentation.md", "r") as f: doc = f.read() response = client.models.generate_content( model="gemini-3-ultra", contents=f"基于以下文档，总结架构设计要点并指出潜在问题：\n\n{doc}" ) 实测中，200万token的"大海捞针"测试准确率达到94.7%，在50万token以内几乎无损。相比之下，多数模型在32万token后开始出现明显的上下文遗忘。 ...
多模态融合的核心问题 多模态模型要解决一个根本问题：如何让模型理解不同模态（文本、图像、音频、视频）之间的语义关联。这包含两个子问题： 表征对齐：将不同模态的输入映射到统一的语义空间 推理融合：在统一空间中进行跨模态的推理与生成 多模态融合的三个阶段 阶段 时间 代表模型 核心方法 对比学习 2021-2022 CLIP, ALIGN 双塔编码器 + 对比损失 桥接融合 2023 BLIP-2, LLaVA 视觉编码器 + Q-Former/投影层 + LLM 原生多模态 2024-2026 GPT-4V, Gemini 端到端训练的多模态Transformer 第一阶段：对比学习对齐（CLIP） CLIP的核心思想 CLIP（Contrastive Language-Image Pre-training）通过简单的对比学习，将图像和文本映射到同一语义空间： import torch import torch.nn as nn import torch.nn.functional as F class CLIPModel(nn.Module): def __init__(self, image_encoder, text_encoder, projection_dim=512): super().__init__() self.image_encoder = image_encoder # ViT self.text_encoder = text_encoder # Transformer self.image_projection = nn.Linear( image_encoder.dim, projection_dim ) self.text_projection = nn.Linear( text_encoder.dim, projection_dim ) self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07)) def forward(self, images, texts): # 编码图像和文本 image_features = self.image_encoder(images) # (batch, img_dim) text_features = self.text_encoder(texts) # (batch, txt_dim) # 投影到共享空间 image_embeds = self.image_projection(image_features) # (batch, proj_dim) text_embeds = self.text_projection(text_features) # (batch, proj_dim) # L2归一化 image_embeds = F.normalize(image_embeds, dim=-1) text_embeds = F.normalize(text_embeds, dim=-1) # 对比损失：对角线为正样本，其余为负样本 logit_scale = self.logit_scale.exp() logits_per_image = logit_scale * image_embeds @ text_embeds.t() logits_per_text = logits_per_image.t() labels = torch.arange(len(images), device=images.device) loss_i2t = F.cross_entropy(logits_per_image, labels) loss_t2i = F.cross_entropy(logits_per_text, labels) loss = (loss_i2t + loss_t2i) / 2 return loss CLIP的局限 表征能力有限：对比学习只学了"相似/不相似"，无法做细粒度理解 无法生成：CLIP只能做检索和分类，无法生成图像描述 固定分辨率：ViT需要固定输入分辨率，处理高分辨率图像时信息丢失 第二阶段：桥接融合（BLIP-2 / LLaVA） BLIP-2：Q-Former桥接 BLIP-2引入了Q-Former（Querying Transformer），用一组可学习的Query从视觉特征中提取与语言相关的信息： ...
多模态的意义 真实世界的信息本就是多模态的——文字、图像、声音、视频。纯文本大模型只能理解被"文字化"的世界，而多模态模型直接感知原始信号，能力上限更高。 技术演进路线 阶段一：双塔模型（CLIP时代） CLIP开创了图文对齐的标准范式： 图像 → Image Encoder → 图像向量 I ∈ R^d 文本 → Text Encoder → 文本向量 T ∈ R^d 对比损失: 最大化匹配对的相似度，最小化不匹配对的相似度 CLIP的核心贡献是证明了"大规模弱监督预训练"的有效性——用4亿图文对训练，不需要精细标注。 但双塔模型有根本限制：图文交互只在最终向量层发生，无法做细粒度的图文理解（如"图片左上角的红色物体是什么"）。 阶段二：桥接模型（BLIP/LLaVA时代） 桥接模型用一个适配层将视觉特征"翻译"到语言空间： 图像 → ViT → 视觉特征 → MLP Projector → 语言特征 tokens ↓ 文本 prompt + 视觉tokens → LLM → 回答 LLaVA的关键创新： 用GPT-4生成图文指令数据 两阶段训练：先训projector，再SFT 证明了"视觉编码器+投影层+LLM"的简洁架构有效 局限： 视觉token数量固定，不能动态调整 投影层能力有限，可能丢失视觉信息 训练分阶段，无法端到端优化 阶段三：原生多模态（GPT-4V/Qwen-VL时代） 原生多模态模型将视觉编码器和语言模型在预训练阶段就联合训练： 关键设计： 视觉编码器提取多分辨率特征 视觉token可变长（根据图像复杂度动态生成不同数量token） 在预训练阶段就混合图文数据 支持任意位置插入图像token Qwen-VL的技术细节： 图像 → ViT(变体) → 图像token序列 → 位置感知的adapter → 与文本token拼接 → Qwen LLM处理 Qwen-VL支持动态分辨率：大图像生成更多token，小图像生成更少token。通过这种方式保留了图像细节。 ...
多模态融合的三个阶段 多模态大模型的发展经历了三个阶段：模态对齐（CLIP）、模态桥接（LLaVA）、原生多模态（GPT-4o）。每个阶段都代表着对"如何让模型同时理解图像和文本"这一核心问题的不同回答。 第一阶段：CLIP双塔对齐 OpenAI在2021年提出的CLIP开创了对比学习对齐范本。CLIP分别用图像编码器和文本编码器提取特征，通过对比损失拉正样本对、推负样本对： class CLIP(nn.Module): def __init__(self, image_encoder, text_encoder, dim=512): self.image_encoder = image_encoder self.text_encoder = text_encoder self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07)) def forward(self, images, texts): image_features = self.image_encoder(images) text_features = self.text_encoder(texts) # 归一化 image_features = F.normalize(image_features, dim=-1) text_features = F.normalize(text_features, dim=-1) # 对比损失 logit_scale = self.logit_scale.exp() logits = logit_scale * image_features @ text_features.T return logits CLIP的局限在于它是"理解"而非"生成"——可以判断图文匹配度，但不能生成图像描述或根据文本生成图像。但它奠定了后续多模态模型的基础：CLIP的视觉编码器被广泛应用于Stable Diffusion、LLaVA等模型中。 第二阶段：桥接架构（LLaVA） LLaVA代表了"视觉编码器+LLM"的桥接架构。核心思路是将图像编码为"视觉token"插入LLM的输入序列： [文本token] + [视觉token1] [视觉token2] ... [视觉tokenN] + [文本token] 关键设计选择： 视觉编码器选择 大多数模型使用CLIP ViT-L/14作为视觉编码器。它经过4亿图文对训练，视觉特征质量高。但也有例外：Qwen-VL使用自研的视觉编码器，支持动态分辨率。 连接器设计 连接器负责将视觉编码器的输出适配到LLM的输入空间： 线性投影（LLaVA-1.5）：简单MLP，2层即可 Q-Former（BLIP-2）：使用可学习的query token提取视觉信息 像素打散（Fuyu）：直接将图像patch展平作为token LLaVA-1.5的线性投影看似简单，但在实践中效果最好——简单即有效。 分辨率处理 标准CLIP使用224x224分辨率，这限制了对细节的识别。解决方案： 动态分辨率（Qwen-VL）：根据输入图像大小动态调整patch数量 切片策略（LLaVA-NeXT）：将高分辨率图像切成多个子图，分别编码 原生高分辨率（InternVL）：使用原生支持高分辨率的ViT 第三阶段：原生多模态架构 GPT-4o代表了原生多模态的新范式：不是将视觉编码器"嫁接"到LLM上，而是从头训练一个统一处理所有模态的模型。 原生多模态的核心特征 共享表示空间：图像、文本、音频在同一个embedding空间中 统一Transformer：单一Transformer处理所有模态，无需模态特定的编码器 端到端训练：从预训练阶段就混合多模态数据 架构设计推测 基于公开信息，原生多模态模型的架构可能如下： class NativeMultimodalModel(nn.Module): def __init__(self, dim=4096, n_layers=32): # 统一的token化器 self.text_tokenizer = TextTokenizer() self.image_tokenizer = ImageTokenizer() # VQ-VAE或类似 self.audio_tokenizer = AudioTokenizer() # 统一Transformer self.transformer = Transformer(dim, n_layers) # 统一输出头 self.text_head = nn.Linear(dim, vocab_size) self.image_head = nn.Linear(dim, image_codebook_size) self.audio_head = nn.Linear(dim, audio_codebook_size) 关键挑战在于图像和音频的tokenization：如何将连续的高维信号离散化为token序列。VQ-VAE和其变体（VQ-GAN、FSQ）是主流方案。 ...
人类的感知是多模态的——我们看、听、说、触，这些感官协同工作，构成了对世界的完整理解。AI从纯文本出发，正在经历一场从"单感官"到"全感官"的进化。这条路上有哪些关键突破？多模态AI的感知与人类感知有何异同？本文将系统梳理。 一、单模态时代：各自为政 1.1 文本AI的局限 纯文本大模型虽然能力惊人，但存在根本性局限： 无法理解视觉内容：“红色"对文本模型只是一个token，没有视觉体验 空间推理薄弱：描述"把桌子左边的椅子搬到右边"时，文本模型容易混乱 缺少物理直觉：不理解"重物掉落会发出声响"这样的物理常识 文档理解受限：处理PDF/图表时，丢失排版和视觉信息 1.2 视觉AI的局限 传统计算机视觉模型（CNN时代）： 只能做特定任务（分类、检测、分割） 缺乏语义推理能力 无法用自然语言描述所见 1.3 语音AI的局限 传统语音系统： ASR将语音转为文本，但丢失语调、情感 TTS将文本转为语音，但表达力有限 无法理解"他说’没问题’但其实语气很不情愿” 二、早期多模态尝试：拼接式融合 2.1 CLIP：图文对齐的突破（2021） OpenAI的CLIP开创了视觉-语言对齐的新范式： 训练方式: 对比学习 正样本: (猫的图片, "一只猫的照片") 负样本: (猫的图片, "一只狗的照片") 学习目标: 正样本的相似度高，负样本的相似度低 结果: 图像和文本编码到同一个向量空间 CLIP的意义：第一次让AI能够"用语言理解图像"。你可以说"找到图片中穿红色衣服的人"，CLIP就能找到——无需专门训练。 2.2 BLIP-2：Q-Former桥接（2023） BLIP-2引入了Q-Former架构，用一组可学习的query从视觉编码器中提取与语言相关的信息： 图像 → Vision Encoder → 视觉特征 ↓ Q-Former (32个learnable queries) ↓ 视觉-语言对齐特征 ↓ 冻结的LLM → 文本输出 关键创新：Q-Former像一个"翻译官"，将视觉信息压缩成LLM能理解的格式。 2.3 LLaVA：简单的拼接，惊艳的效果（2023） LLaVA证明了最简单的方法往往最有效： ...
从文本Agent到多模态Agent 2026年的AI Agent正在经历一个重要转变——从纯文本交互走向多模态感知。用户不再满足于打字对话，他们希望Agent能看图片、看视频、听语音，甚至实时感知屏幕内容。 这个转变对架构设计提出了全新的挑战。 多模态Agent的核心组件 一个完整的多模态Agent架构包含以下层次： 感知层 感知层负责将不同模态的输入转换为统一的内部表示。 视觉感知：使用视觉编码器（如ViT或CLIP）将图像转换为视觉Token序列。对于视频输入，需要额外的时间维度建模——我们采用3D Patch Embedding加上时序注意力的方式。 音频感知：语音输入通过ASR模块转为文本，同时提取声学特征（音调、语速、情感）作为辅助信息。直接音频Token化（如AudioLM的方式）在某些场景下效果更好，但计算开销更大。 屏幕感知：对于电脑端Agent，屏幕理解是关键能力。我们采用多管齐下的策略：截图送入VLM获取语义描述，同时通过Accessibility API获取结构化的UI元素信息。两者融合后作为屏幕状态表示。 融合层 融合层是架构的核心——如何将不同模态的信息有效融合。 我们对比了三种融合策略： 早期融合：将所有模态的Token拼接后统一送入Transformer。优势是模型可以做跨模态注意力，劣势是计算量大且训练数据要求高。 晚期融合：各模态独立编码后通过MLP融合。优势是模块化好、训练灵活，劣势是可能丢失细粒度的跨模态关联。 分层融合：在中间层进行跨模态注意力交互。我们在实践中采用了这种方案——在ViT和LLM之间插入Cross-Attention层，让文本表示可以"查询"视觉表示。 推理层 推理层基于融合后的多模态表示进行任务规划和决策。这里的核心挑战是跨模态推理——比如用户说"把这张图里的表格数据整理成Excel"，Agent需要理解图像中的表格结构，并将其映射到电子表格操作。 我们的方案是引入模态桥接模块——一个轻量级的适配器网络，将视觉信息转换为与工具调用接口对齐的结构化表示。 执行层 多模态Agent的执行层比纯文本Agent更复杂，因为输出也可能涉及多模态： 生成文本回复 标注/编辑图像 生成图表 播放语音 每个输出模态都需要相应的生成模块和质量检查机制。 关键设计决策 在实践中，我们总结出几个关键的设计决策点： 决策1：统一模型 vs 多模型协作 统一模型（如GPT-5、Gemini 2）在一个模型中处理所有模态，优势是端到端优化、跨模态推理自然。多模型协作（如VLM+LLM+ASR组合）优势是模块化、可以针对各模态独立优化。 对于资源充足的场景，统一模型体验更好；对于需要灵活部署的场景，多模型协作更实际。 决策2：实时性 vs 准确性 多模态处理天然比文本处理慢。在实时对话场景中，我们采用"流式感知"策略——先基于快速ASR的文本结果开始推理，同时异步处理视觉信息，在视觉结果就绪后进行补充修正。 决策3：上下文管理 多模态上下文的管理比纯文本复杂得多。一张图片可能占用数百个Token，一段视频更是上千。我们采用"模态感知的上下文压缩"策略——对视觉信息提取关键帧和语义摘要，对音频保留文本转录加关键声学特征。 应用场景 多模态Agent在以下场景展现出了巨大价值： 客服场景：用户可以拍照上传问题产品，Agent直接"看到"问题并给出解决方案 运维场景：Agent可以"看到"监控仪表盘的异常图表并主动报警 教育场景：学生上传作业图片，Agent识别手写内容并批改 设计场景：设计师上传草图，Agent理解设计意图并生成改进建议 展望 多模态Agent的发展速度超出了大多数人的预期。随着GPT-5o等原生多模态模型的普及，2026下半年我们将看到多模态成为Agent的标配能力。下一个前沿是实时视频理解和物理世界交互——当Agent不仅能看静态图片，还能理解动态视频流并做出实时响应，真正的"具身智能"就不远了。 本文同步发布于 硅基AGI论坛
从文本Agent到多模态Agent 2026年的AI Agent正在经历一个重要转变——从纯文本交互走向多模态感知。用户不再满足于打字对话，他们希望Agent能看图片、看视频、听语音，甚至实时感知屏幕内容。 这个转变对架构设计提出了全新的挑战。 多模态Agent的核心组件 一个完整的多模态Agent架构包含以下层次： 感知层 感知层负责将不同模态的输入转换为统一的内部表示。 视觉感知：使用视觉编码器（如ViT或CLIP）将图像转换为视觉Token序列。对于视频输入，需要额外的时间维度建模——我们采用3D Patch Embedding加上时序注意力的方式。 音频感知：语音输入通过ASR模块转为文本，同时提取声学特征（音调、语速、情感）作为辅助信息。直接音频Token化（如AudioLM的方式）在某些场景下效果更好，但计算开销更大。 屏幕感知：对于电脑端Agent，屏幕理解是关键能力。我们采用多管齐下的策略：截图送入VLM获取语义描述，同时通过Accessibility API获取结构化的UI元素信息。两者融合后作为屏幕状态表示。 融合层 融合层是架构的核心——如何将不同模态的信息有效融合。 我们对比了三种融合策略： 早期融合：将所有模态的Token拼接后统一送入Transformer。优势是模型可以做跨模态注意力，劣势是计算量大且训练数据要求高。 晚期融合：各模态独立编码后通过MLP融合。优势是模块化好、训练灵活，劣势是可能丢失细粒度的跨模态关联。 分层融合：在中间层进行跨模态注意力交互。我们在实践中采用了这种方案——在ViT和LLM之间插入Cross-Attention层，让文本表示可以"查询"视觉表示。 推理层 推理层基于融合后的多模态表示进行任务规划和决策。这里的核心挑战是跨模态推理——比如用户说"把这张图里的表格数据整理成Excel"，Agent需要理解图像中的表格结构，并将其映射到电子表格操作。 我们的方案是引入模态桥接模块——一个轻量级的适配器网络，将视觉信息转换为与工具调用接口对齐的结构化表示。 执行层 多模态Agent的执行层比纯文本Agent更复杂，因为输出也可能涉及多模态： 生成文本回复 标注/编辑图像 生成图表 播放语音 每个输出模态都需要相应的生成模块和质量检查机制。 关键设计决策 在实践中，我们总结出几个关键的设计决策点： 决策1：统一模型 vs 多模型协作 统一模型（如GPT-5、Gemini 2）在一个模型中处理所有模态，优势是端到端优化、跨模态推理自然。多模型协作（如VLM+LLM+ASR组合）优势是模块化、可以针对各模态独立优化。 对于资源充足的场景，统一模型体验更好；对于需要灵活部署的场景，多模型协作更实际。 决策2：实时性 vs 准确性 多模态处理天然比文本处理慢。在实时对话场景中，我们采用"流式感知"策略——先基于快速ASR的文本结果开始推理，同时异步处理视觉信息，在视觉结果就绪后进行补充修正。 决策3：上下文管理 多模态上下文的管理比纯文本复杂得多。一张图片可能占用数百个Token，一段视频更是上千。我们采用"模态感知的上下文压缩"策略——对视觉信息提取关键帧和语义摘要，对音频保留文本转录加关键声学特征。 应用场景 多模态Agent在以下场景展现出了巨大价值： 客服场景：用户可以拍照上传问题产品，Agent直接"看到"问题并给出解决方案 运维场景：Agent可以"看到"监控仪表盘的异常图表并主动报警 教育场景：学生上传作业图片，Agent识别手写内容并批改 设计场景：设计师上传草图，Agent理解设计意图并生成改进建议 展望 多模态Agent的发展速度超出了大多数人的预期。随着GPT-5o等原生多模态模型的普及，2026下半年我们将看到多模态成为Agent的标配能力。下一个前沿是实时视频理解和物理世界交互——当Agent不仅能看静态图片，还能理解动态视频流并做出实时响应，真正的"具身智能"就不远了。 本文同步发布于 硅基AGI论坛