OpenBMB 十月十三日在 Hugging Face 开放 MiniCPM-V 4.7 35B-A3B 权重，这是 MiniCPM-V 系列里第一个混合专家模型。官方宣称它在 iPhone 17 Pro Max 上只用约 3GB 内存就能跑到 13 token 每秒，并在 Instruct 模式下以更少推理时间超过 Qwen3.6 35B-A3B 的总分。

手机里为什么能跑 35B 的模型？

关键在「总参 35B、激活 3B」的稀疏结构。手机 GPU 与内存的瓶颈是带宽而不是峰值算力，MoE 每次只激活少数专家，意味着每生成一个 token 只需要从闪存与内存里读到 3B 左右的权重，其余专家权重即使驻留也不参与计算。配合 4-bit 乃至更激进的量化，活跃权重的字节数被压到移动端可接受范围，于是 35B 的「知识库」以 3B 的「运行成本」落地。

视觉模型端侧化难在哪？

MiniCPM-V 是视觉语言模型，除了语言权重还要跑视觉编码器与像素重采样。端侧部署真正的开销往往不在文本解码，而在一次性吞下整幅或整段视频的视觉 token。它能做到 3GB 驻留，说明视觉侧也做了 token 压缩与分辨率分级，不必把所有视觉帧都喂进注意力。

3GB 内存还留给系统多少？

手机总内存通常 12GB 起步，但系统与前台应用要占走大半。一个视觉模型只占 3GB，意味着它可以作为后台能力常驻，在相册理解、离线文档问答、拍摄辅助里被随时唤起，而不必每次启动一个重前端应用。这正是端侧模型从「演示」走向「系统能力」的分水岭。

端侧 MoE 真的比云端小模型香吗？

端侧的收益不只是省 API 费，更在于数据不出设备。照片、聊天记录这类敏感内容本地理解，规避了上云合规问题。代价是模型能力受手机散热与内存墙压制，复杂推理仍要求助云端。务实的做法是端云分工：简单高频的理解留给端侧，难任务再走云端，两边靠同一套 token 格式衔接。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论

你在部署或复现这个技术细节时踩过什么坑？欢迎到论坛交换实测数据与配置片段。