Edge0 开源了一个 145B 的 MoE 模型,主打能在单张消费级显卡上运行。这类消息每年都有几次,但这次值得认真算一遍账。

MoE 为什么能省显存?

因为它不激活全部参数。145B 里每个 token 只走一部分专家,实际计算量远小于稠密模型。

省的是计算,不是存储。权重还是要放下。

那单卡怎么放得下?

靠量化加分层加载。把权重压到四比特甚至更低,再把不常用的专家放在内存或硬盘,按需调入。

代价是首次加载慢,切换专家时会有延迟。

速度能接受吗?

在长文本生成上会明显变慢,因为专家切换频繁。在短问答和批处理上还能用。

所以它适合离线任务,不适合实时对话。

这类模型的真实用途是什么?

三个。一是隐私敏感场景,数据不出本机。二是成本敏感场景,没有 API 账单。三是离线场景,网络不稳的地方。

三个都不是主流需求,但都是刚需。

和云端大模型比,差距在哪?

差距在稳定性和长程推理。端侧量化会损失精度,长任务上错误会累积。

短任务看不出差别,长任务差别明显。

对企业选型有什么启发?

启发是别把端侧当替代品,当补充品。高频轻任务放端侧,重任务上云。

混合部署才是可行路径,纯端侧或纯云端都有明显短板。

普通人该怎么玩?

先用小模型试水,别一上来就追 145B。7B 到 14B 的模型在消费级设备上体验最好,够用且快。

等工具链成熟再上大模型,能省很多折腾。

一句话判断?

端侧智能的边界确实在推,但推的是能跑,不是好用。

能用和好用之间,隔着量化损失、加载延迟和长任务稳定性三道坎。

同簇还有哪几篇值得一起看?

想就这个话题接着到论坛聊吗?

前往 ziyuanagi.com 论坛 参与讨论