145B 的 MoE 想跑在单张消费级卡上,第一步不是装环境,是算显存。算错了,后面全是白费功夫。
显存怎么估?
按三个部分算:常驻权重、激活缓存、上下文缓存。
权重是大头,激活和上下文随长度增长。
权重怎么算?
参数量乘每参数字节。145B 在十六位下约 290GB,八位约 145GB,四比特约 72GB。
这只是理论值,实际还有对齐和额外缓冲,要加一成。
为什么 MoE 能压到更低?
因为专家可以分页。不常用的专家放内存或硬盘,按需调入。
代价是首次命中会卡顿。
激活缓存怎么估?
按批大小和隐藏维度估。批量越大,激活越多。
单卡跑大模型,批大小通常只能设一。
上下文缓存怎么估?
按层数、头数、长度算。长度翻倍,缓存翻倍。
长上下文是显存杀手,比权重更容易爆。
消费级卡的真实瓶颈在哪?
在带宽。显存够但带宽不够,生成速度会非常慢。
所以这类模型适合离线批处理,不适合实时对话。
怎么验证估算对不对?
先加载模型看常驻占用,再跑一条短生成看峰值,最后跑一条长生成看增长。
三个数对上估算,才算算准。
该不该上?
三个条件。一是任务能离线,二是数据不能出内网,三是有人能维护。
缺一个,就不如用云端。
一句话判断?
显存估算是部署的第一道门。算不清就别装,装了也是反复重启。
先把账算明白,再谈性能优化。
有没有更省显存的替代?
有,分层加载加专家分页。把不活跃的层放内存,按需换入显存,能把常驻占用压下来一大截。
代价是首字延迟变长,所以它适合离线批处理,不适合实时对话。做之前先确认业务能不能接受几秒的等待。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论