视觉压缩

OpenBMB 十月十三日发布 MiniCPM-V 4.7 1B，一个十亿参数级的端侧多模态模型，支持单图、多图与视频理解，面向手机、平板与本地硬件。它与同期发布的 35B-A3B 走不同路线：这个 1B 版本主打视觉 token 压缩，官方给出四倍与十六倍两档压缩比，并称在 Instruct 模式下总分与推理效率都超过 Qwen3.5 0.8B。 视觉 token 压缩到底压的是什么？ 一张高分辨率图片进视觉编码器后会被切成上千个 patch token，每个 token 都要在注意力里与文本交互，显存和算力随像素数平方膨胀。视觉 token 压缩就是在喂进大语言模型之前，把相邻、冗余的视觉 patch 合并成更少的 token。四倍压就是把视觉序列缩到四分之一，十六倍压缩到十六分之一。 压十六倍为什么不瞎？ 朴素地把像素丢一半会丢关键细节。MiniCPM-V 的做法更接近「按需保留」：对文档、人物、文字这类信息稠密区域少压，对背景、天空这类区域狠压，让有限的视觉 token 预算花在刀刃上。这也是它敢宣传四倍到十六倍而精度不掉的原因——压缩是内容自适应的，不是均匀抽稀。 1B 模型的战场在哪？ 参数压到十亿级，模型可以跑在 NPU 甚至微控制器级硬件上。它不追求刷榜，而是做系统级的小助手：相册搜图、屏幕阅读、拍照即时讲解、离线 OCR。当视觉 token 足够便宜，多模态就从「云端每次调用」变成「手机上随时开着」的常驻能力。 视觉压缩率会不会有上限？ 压得太狠，文字与小物体这类关键信息会被抹平。四倍压缩通常无损，十六倍就要靠内容自适应保留。未来方向不是一味压更多，而是让模型学会判断「这一帧需不需要细看」，对静态背景狠压、对动作与文字少压，把有限视觉预算用到刀刃上。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 你在部署或复现这个技术细节时踩过什么坑？欢迎到论坛交换实测数据与配置片段。