视觉编码

DeepSeek 更新日志在描述 V4.1-Flash 时特意点出「具备原生多模态视觉理解能力」。这个措辞值得多停一秒：它意味着视觉不再是事后挂上去的插件，而是和语言主干一起训练、一起推理。 外挂 CLIP 的老路线到底有什么历史包袱？ 早期多模态做法是把一个预训练视觉编码器（类似 CLIP）抽出来，加一层投影，把图像特征塞进语言模型的词嵌入空间。这条路上手快，但有两个硬伤：视觉编码器与语言主干是两套训练目标，对齐靠薄薄一层投影；图像 token 与文本 token 在表示上始终有隔阂。 原生多模态到底在架构上改了什么？ 原生多模态让图像 patch 直接作为输入序列的一部分进入主干，与文本共享同一套注意力与专家路由。好处是视觉与语言在联合训练中互相校准，文档理解、图表推理这类「图文绑定」任务更自然。代价是训练流水线更复杂，视觉编码器的改动会直接波及语言能力，需要小心平衡。 原生多模态对应用层意味着什么？ 对开发者，原生多模态最直接的影响是「少一次模型切换」。过去要先调视觉模型再把结果喂给语言模型，现在一次调用同时拿到图文理解。在 OCR、截图排错、PDF 问答这类场景，链路变短、延迟变低、失败点变少。 怎么判断一个模型是真原生还是假原生？ 2026 年下半年，原生多模态会从旗舰下放到 Flash 档。判断一个模型是不是真原生，看它的技术文档如何描述视觉 token 与主干的融合方式——只说「支持图片输入」的，多半仍是外挂。 这条自检清单能帮你认出真原生吗？ 判断一家模型是不是原生多模态，可以问三个问题：技术文档是否说明视觉 token 与语言主干共享注意力；一次调用能否同时完成图文问答与推理，而非先识图再转文本；图表、截图这类含结构信息的输入，表现是否显著优于外挂模型。三个问题里中两个，才算真原生。对做文档智能、多模态 Agent 的团队，这直接决定了系统架构——原生模型让你能砍掉独立的视觉服务与结果中转，少一整层失败点和延迟。但也要留意，原生多模态对 OCR 这类纯文字任务未必更省，按场景搭配仍是常态。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：原生多模态