十月十四日多家媒体报道，蚂蚁集团与 inclusionAI 联合发布开源多模态模型 Ming-Omni。它通过专用编码器分别处理文本、图像、音频、视频四种输入，在统一架构里融合，定位对标 GPT-4o 的功能集。这是国内大厂在开源多模态赛道的又一次出牌——此前 Qwen3-VL、MiniMax-VL 已经把文本图像两模态做透，Ming-Omni 把音频和视频编码器拉到同一模型里。

四模态统一跟单模态拼装有什么区别？

过去的多模态模型往往是「文本 LLM 加一个图像编码器」，音频和视频靠外挂 ASR/VSR 转成文本再喂。Ming-Omni 的做法是每个模态有自己的编码器，但在主干 LLM 里共享注意力和 FFN，模态之间可以交叉注意力——音频的时间戳能引用图像区域，视频帧能触发文本推理。这种统一架构的好处是跨模态推理（比如听一段音频描述画面），而不是单模态分别处理再拼接。

对标 GPT-4o 开源化意味着什么？

GPT-4o 是闭源的，企业要做实时音视频对话只能调 API。Ming-Omni 开源后，企业可以本地部署一个能听、能看、能说的模型，数据不出内网。对金融、医疗、政务这些对音视频数据敏感的行业，这是合规上的刚需。但开源模型跟 GPT-4o 的差距在实时性和端到端延迟——开源多模态的流式对话还在追赶闭源。

下一步要盯什么？

一是权重协议（Apache 2.0 还是自定义），这决定商用能不能免授权。二是推理栈支持——多模态模型对 vLLM/SGLang 的图像、音频编码器支持度比文本模型差很多。三是中文场景下的语音识别和指令遵循质量。蚂蚁在支付和客服场景有真实数据，Ming-Omni 的中文客服表现可能是它的差异化。

还要看一个差异化场景：蚂蚁在支付和客服领域有海量中文语音和交易数据。Ming-Omni 在中文口语理解、方言识别、客服多轮对话上的表现，可能比英文社区训练出来的模型更贴合国内企业。但开源模型的实时流式对话（边听边说）目前仍是短板——GPT-4o 的端到端延迟在 200 毫秒内，开源多模态普遍要 800 毫秒以上。对做客服的团队，短期仍需在前面加 VAD 和 barge-in 模块，不能直接裸用。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论