多模态

DeepSeek 更新日志在描述 V4.1-Flash 时特意点出「具备原生多模态视觉理解能力」。这个措辞值得多停一秒：它意味着视觉不再是事后挂上去的插件，而是和语言主干一起训练、一起推理。 外挂 CLIP 的老路线到底有什么历史包袱？ 早期多模态做法是把一个预训练视觉编码器（类似 CLIP）抽出来，加一层投影，把图像特征塞进语言模型的词嵌入空间。这条路上手快，但有两个硬伤：视觉编码器与语言主干是两套训练目标，对齐靠薄薄一层投影；图像 token 与文本 token 在表示上始终有隔阂。 原生多模态到底在架构上改了什么？ 原生多模态让图像 patch 直接作为输入序列的一部分进入主干，与文本共享同一套注意力与专家路由。好处是视觉与语言在联合训练中互相校准，文档理解、图表推理这类「图文绑定」任务更自然。代价是训练流水线更复杂，视觉编码器的改动会直接波及语言能力，需要小心平衡。 原生多模态对应用层意味着什么？ 对开发者，原生多模态最直接的影响是「少一次模型切换」。过去要先调视觉模型再把结果喂给语言模型，现在一次调用同时拿到图文理解。在 OCR、截图排错、PDF 问答这类场景，链路变短、延迟变低、失败点变少。 怎么判断一个模型是真原生还是假原生？ 2026 年下半年，原生多模态会从旗舰下放到 Flash 档。判断一个模型是不是真原生，看它的技术文档如何描述视觉 token 与主干的融合方式——只说「支持图片输入」的，多半仍是外挂。 这条自检清单能帮你认出真原生吗？ 判断一家模型是不是原生多模态，可以问三个问题：技术文档是否说明视觉 token 与语言主干共享注意力；一次调用能否同时完成图文问答与推理，而非先识图再转文本；图表、截图这类含结构信息的输入，表现是否显著优于外挂模型。三个问题里中两个，才算真原生。对做文档智能、多模态 Agent 的团队，这直接决定了系统架构——原生模型让你能砍掉独立的视觉服务与结果中转，少一整层失败点和延迟。但也要留意，原生多模态对 OCR 这类纯文字任务未必更省，按场景搭配仍是常态。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：原生多模态

10 月 6 日更新的 Gemini API 版本说明显示，谷歌正式发布 Gemini Nano Banana 2.1（模型 ID：gemini-nano-banana-2.1）正式版（GA）。这是一款高效率图像生成与对话式智能修图模型，在 Nano Banana 2 基础上迭代。从预览转正，意味着谷歌把它当成可商用、可稳定接入产品的主力图像模型。 「对话式修图」改变了什么 过去用 AI 出图，更像抽卡：写一段提示词，等结果出来，不满意再重roll，来回之间很难精确控制。Nano Banana 2.1 主打的对话式智能修图，是把这层交互改成聊天——你可以在已有图上接着提要求，「把背景换成傍晚」「把人物往左挪一点」，模型在原图基础上局部调整，而不是重新生成一张。 这让图像生成从一次性生成，变成了可迭代的协作。对设计、电商素材、营销配图这类需要反复改稿的场景，效率提升是直接的。 过去设计师用 AI 出图，最大的痛苦不是出不来，而是改不动。提示词多写一句、少写一句，整张图可能面目全非，想只改一个细节往往要重roll半天。对话式修图把这个流程变成了「指哪改哪」，反复微调不再伤筋动骨。 把它放进 Gemini API，意味着开发者可以把这套出图与改图能力嵌进自己的产品，而不必再接一个第三方图像服务。 谷歌为什么加码图像模型 把它放进 Gemini API，说明谷歌把多模态生成当成整套模型栈的一环：文本、图像、视频不再是割裂的产品，而是同一个智能体可以调度的能力。同期谷歌还把 WeatherNext 天气、AlphaGenome 等科学模型接入 Search、Gemini、Maps，方向都是让生成与理解在一个界面里打通。 判断 Nano Banana 2.1 转正的信号，是图像生成模型进入「够用且便宜」的实用阶段。对内容团队，这意味着配图、改图可以被流水线化；对行业，它说明多模态竞争的胜负手不再是单张图多惊艳，而是能不能嵌入真实工作流、被反复调用。接下来要看的，是它在商用版权、 consistency（多图一致性）上的实际表现。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：Nano Banana 2.1

10 月 6 日，法国 Mistral AI 冷不丁甩出旗舰新模型 Mistral Large 4，内部代号 Le Chonk（肥猫），当天以公开预览版上线 Mistral Studio。这是 Mistral 迄今最大的模型：约 1.05 万亿总参数的原生多模态混合专家（MoE）模型，每 token 激活约 49B 参数，配一个约 16 亿参数的视觉编码器，上下文窗口号称百万 token。按官方计划，权重将于 10 月底开放。 参数表里的关键信号 几个数字值得做模型的人记住：总参数约 1.05 万亿、激活 49B（含嵌入与输出层约 52B），视觉编码器 16 亿；第三方实测上下文约落在 512K 到 524K；API 定价约每百万输入 token 1.36 美元、输出 4.18 美元。基准方面，DeepSWE v1.1 约 61.7%，盲评总分 3.74、排在 Claude Opus 5 之后；在网络安全相关测试中进入全球前五，复现漏洞并打补丁得分约 82%。 它主打编码、网络安全、金融、法律与图像理解，训练动用了约 4000 块英伟达 Grace Blackwell 级机柜。 它真正想打的是谁 Mistral 自己说得直白：这是要对标最强的中国开源权重模型。过去一年，DeepSeek、Qwen、GLM 等中国开源模型在全球开发者中攻城略地，欧洲一直缺少一个体量相当、又能自主掌控的旗舰。Le Chonk 的意义不在跑分碾压，而在「开源阵营里多一个非中国选项」。 从架构看，它是指令与推理混合的细粒度专家模型，天生兼顾指令跟随、推理与智能体能力。官方把安全、金融、法律、图像理解当作主打场景，说明它瞄准的是企业级私有化部署，而不是普通聊天。 这波发布的时机也很讲究：就在 GPT-6 全量推送、Claude 小模型降价的同一周。Mistral 选在这个窗口扔出万亿模型，明显是想在媒体注意力最集中的时候，让全球开发者记住欧洲也有自己的旗舰。 ...

被视频甩在身后的音频，开始补课 9 月 28 日这个发布密集日，除了 Claude Sonnet 5.5、Manus 2.0，还有一条相对低调却意味深长的消息：ElevenLabs 推出了 Eleven v4。这家以语音合成起家的公司，正在把 AI 语音从「能念稿」推向「能表演」。过去两年，视频生成突飞猛进，声音却一直是内容生产的短板——口型对不上、语气呆板、情绪扁平，再炫的画面配上机械配音也出戏。v4 这一代产品，瞄准的正是这个最后一公里。 语音和视频终于合流 一个明显的趋势是，语音技术开始和视频生成深度耦合。字节 Seedance 2.0 在年初就已支持背景音乐、环境音效、人物解说等多轨音频并行输出，并让音画节奏精准对齐。当 ElevenLabs 这样的专业语音厂商再把音色、情绪、多语种配音做到电影级，AI 生成内容就第一次有了「声画合一」的完整体验。一条片子从脚本、画面到配音配乐，全流程都能由 AI 完成，短剧、广告、游戏解说的产能门槛被彻底打掉。 别忽视声音克隆的伦理边界 语音越强，风险越具体。高质量声音克隆意味着，几秒钟的样本就能伪造出任何人的说话声，用于诈骗、伪造证词、批量洗稿配音。这也是为什么欧盟 AI 法案把「生成或修改内容必须披露」写进了八月生效的透明度规则。技术跑在前头，标识与溯源机制必须跟上——否则「听起来像某人说过」会成为新的信任灾难。行业里已经出现一种务实做法：在合成语音里嵌入人耳听不见的水印，供平台和司法机关事后溯源，这比事后追责要主动得多。 收束 Eleven v4 的意义，不只是又一个语音模型升级，而是宣告 AIGC 的音频短板正在补齐。当画面、声音、配乐都能一键生成，内容创作的竞争重心，将彻底从「制作能力」转移到「创意与审美」。对创作者，工具已经不是瓶颈，想法才是。 去论坛讨论 关于「AI语音」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

九月底的一记冷枪 9 月 30 日，Google 发布 Gemini 4 Argon，这是它自 Gemini 3.1 Pro 之后的首个旗舰。独立评测机构 Artificial Analysis 当天就把它送进第一梯队：在 Intelligence Index v4.3.2 上拿到约 52.6 分，与 GPT-6 Astra 基本持平，身后是 Anthropic 的 Claude Opus 5.5、Sonnet 5.5 与 Fable 5.1。最抢眼的不是分数，而是另一个指标——它测出的幻觉率，是当前头部模型里最低的。对一个被「一本正经胡说八道」坑过无数次的行业来说，这个卖点比又涨五分更扎心。 幻觉率为什么突然值钱 过去一年，旗舰模型的推理能力已经内卷到边际递减：大家在数学、代码上都能打八十五分往上，差距收窄。真正拉开生产差距的，变成了「什么时候它会骗你」。写财报摘要、做法务比对、给医生做辅助阅读，幻觉一次的代价远大于慢两秒。Argon 押注的正是这条软肋——把「敢不确定就说不确定」做进模型行为里，而不是靠更长的上下文硬撑。 多模态与生态的后手 Argon 原生支持文本、图像、视频与音频，这继承了 Gemini 家族一贯的多模态家底。谷歌的真正算盘不在单模型跑分，而在它身后的全栈：从 Gemini 端侧模型、Gemini for Windows，到云端的搜索与 Workspace 套件，旗舰模型是给整条分发链路供血的发动机。当 GPT 与 Claude 还在拼 API 定价时，谷歌更想做的是把模型塞进你每天已经在用的入口里。值得一提的是，Argon 在处理长视频理解和图文交叉检索时，依托谷歌自家的多模态数据积累，往往比纯文本起家的对手更稳——这是长期数据投入在模型代际上的复利，不是靠一次发布就能追平的。 怎么把它用在刀刃上 收束 Argon 的空降说明第一梯队已经从「两家」变成「三国」：Anthropic 守深度推理，OpenAI 守编程与生态，Google 拿低幻觉和多模态做差异。对选型者，短期结论很朴素：要写代码别犹豫 Astra 或 Opus，要做长文档审阅、知识萃取、需要 cite 来源的场景，Argon 值得先跑一轮对照评测再决定。 去论坛讨论 关于「Gemini4」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。 ...

能力 看屏幕截图理解界面 操作鼠标键盘 读PDF和网页 跨应用完成任务 应用 自动填表 数据录入 软件测试 个人助理

新搜索方式 拍一张图找同款 录一段语音找信息 截一张视频帧找来源 技术基础 CLIP类模型把图片和文字映射到同一空间，实现跨模态检索。 对SEO的影响 图片alt文本更重要了 视频内容被索引的比例在增加 结构化数据标记多模态内容

视觉AI的三个阶段 看图说话：输入图片，输出描述（2023-2024） 视觉推理：理解图片中的逻辑关系，做推理判断（2025） 视觉行动：根据图片直接执行操作（2026） 2026年的突破 视频理解：能理解10分钟以上视频的完整叙事 UI自动化：看截图就能操作软件，RPA被颠覆 医疗影像：特定病种诊断准确率超过人类医生 工业检测：端到端方案，不需要标注大量缺陷样本 对开发者的意义 视觉API正在变成基础设施。你不需要训练自己的视觉模型，直接调API就行。真正的竞争力在于把视觉理解和业务逻辑结合。

阿里通义千问发布Qwen3.8-Omni-Flash多模态模型，支持文本、图像、音频、视频输入，上下文长度达1M（100万token），30项评测平均性能提升26%。 核心能力 全模态输入：文字+图片+音频+视频 1M长上下文：可处理整本书或数小时视频 音视频增强：专门优化了音频和视频理解能力 价格优化：API定价进一步下调 适用场景 长文档分析：整本书、合同集、代码库 视频理解：长视频内容分析、会议纪要 音频处理：多语言语音识别、音频内容理解 多模态Agent：结合视觉和听觉的智能助手 国产模型格局 国产第一梯队已形成： Qwen3.8-Max：综合能力国产第一 DeepSeek V4.1 Flash：开源Agent能力最强 GLM-5.3：智谱旗舰 MiniMax M3：AI视频最强 小米MiMo-V2.6：新晋开源第一 竞争激烈，用户受益。

2026年9月，多模态成为大模型竞争的主战场。Qwen3.8-Omni-Flash支持文本+图像+音频+视频输入，1M上下文；Gemini 3.8 Flash集成Lyria 3.5音乐模型；GPT-6 Astra支持计算机操作。 模态扩展 视觉：图像理解已标配 音频：语音识别+音乐生成 视频：视频理解+生成 动作：计算机操作（computer use） 纯文本模型正在成为历史，全模态是标配。