Edge0 开源了一个 145B 的 MoE 模型,主打能在单张消费级显卡上运行。这类消息每年都有几次,但这次值得认真算一遍账。
MoE 为什么能省显存?
因为它不激活全部参数。145B 里每个 token 只走一部分专家,实际计算量远小于稠密模型。
省的是计算,不是存储。权重还是要放下。
那单卡怎么放得下?
靠量化加分层加载。把权重压到四比特甚至更低,再把不常用的专家放在内存或硬盘,按需调入。
代价是首次加载慢,切换专家时会有延迟。
速度能接受吗?
在长文本生成上会明显变慢,因为专家切换频繁。在短问答和批处理上还能用。
所以它适合离线任务,不适合实时对话。
这类模型的真实用途是什么?
三个。一是隐私敏感场景,数据不出本机。二是成本敏感场景,没有 API 账单。三是离线场景,网络不稳的地方。
三个都不是主流需求,但都是刚需。
和云端大模型比,差距在哪?
差距在稳定性和长程推理。端侧量化会损失精度,长任务上错误会累积。
短任务看不出差别,长任务差别明显。
对企业选型有什么启发?
启发是别把端侧当替代品,当补充品。高频轻任务放端侧,重任务上云。
混合部署才是可行路径,纯端侧或纯云端都有明显短板。
普通人该怎么玩?
先用小模型试水,别一上来就追 145B。7B 到 14B 的模型在消费级设备上体验最好,够用且快。
等工具链成熟再上大模型,能省很多折腾。
一句话判断?
端侧智能的边界确实在推,但推的是能跑,不是好用。
能用和好用之间,隔着量化损失、加载延迟和长任务稳定性三道坎。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论