腾讯混元团队最近开源了 Hy-MT1.5 的手机端离线版本,基于十八亿参数的翻译大模型,用 Sherry 稀疏三值量化技术压到约四百四十MB,支持三十三对翻译方向。它的目标很清楚,没网、漫游、境外数据漫游不敢用、飞机上没信号的场景,照样能做文字翻译。这是把翻译能力从云端拉到端侧的一次典型尝试。

离线模型为什么要压到 1.25bit?

手机端资源有限,内存、存储、发热都紧张,传统浮点模型根本塞不下。稀疏三值量化把权重压到只有几种离散取值,体积从几个 GB 砍到几百 MB,推理时还能利用稀疏矩阵加速。代价是量化损失,越往极限压,长难句与专业术语的准确率越往下掉。把它定位成「应急能用」而不是「替代云端」最合理,日常轻度交流够用,重要文件仍建议回到联网大模型复核。

断网场景下翻译质量打几折?

实际体验里,短句、常用表达与云端差距不大,真正拉开差距的是习语、行业黑话与需要上下文消歧的长句。离线模型没有联网检索,遇到人名地名容易直译成奇怪的组合。落地建议是把它和手机系统的离线翻译包配合用,日常菜单、路牌、简短对话靠它,段落级翻译等有网再切云端。开源的好处是开发者可以把它嵌进自己的出行或硬件应用里,而不用每次调用付费 API。

把它当应急翻译,菜单路牌短句够用,长段专业内容等有网回云端复核。嵌入式开发者可以基于开源权重做自己的离线功能,但 1.25bit 的量化损失要在目标场景实测。别指望离线模型懂术语,专业领域还是要配术语表。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论