OpenBMB 十月十四日发布 MiniCPM-V 4.7,这是一款三百五十亿参数的 MoE 多模态模型,可在低至三 GB 内存的手机上运行,并提供十亿参数轻量版。模型采用前瞻专家调度技术实现端侧 MoE 推理,配合自回放微调方法,可在保持通用能力的同时适配新任务,支持读路牌、解析复杂文档与视觉推理。
三百五十亿参数的 MoE 为什么能塞进三 GB 内存的手机?
MoE 的关键是每次只激活少数专家,前瞻专家调度提前计算下一步该唤醒哪些网络,避免一次性加载全部参数。三 GB 内存跑得动的秘密,是把常驻专家做小、按需换入换出,而不是真的把三百五十亿参数全读进内存。
端侧多模态和云端多模态差在哪?
云端模型更强但要联网、有延迟、数据要出门;端侧模型弱一些却能离线、即时、隐私不出机。MiniCPM-V 4.7 瞄准的是拍照识字、文档扫描、离线视觉助手这类对隐私和响应速度敏感的日常场景。
自回放微调对开发者意味着什么?
传统微调容易让模型学会新任务却忘掉旧能力,自回放微调让模型在训练新样本时回放自己的通用输出做约束,兼顾专项定制与通用兜底。这让端侧模型可以被企业按场景裁剪,又不至于一微调就废了。
端侧模型会抢走云端模型的生意吗?
两者会长期共存而非互相替代。简单、隐私敏感、离线的任务放端侧,复杂、需要最大算力的任务走云端。端侧模型的价值不是取代云,而是把云端覆盖不到的日常场景补起来,让多模态 AI 真正走进每一台手机。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论