本地部署大模型,第一个要算的是显存。算错了,要么买多了浪费,要么买少了跑不动。

这里给一套实用的估算方法,不用记公式,按步骤算就行。

显存被谁占用了?

四块。模型权重、键值缓存、激活值、框架开销。

权重是大头,键值缓存随上下文长度增长,激活值随批大小增长,框架开销是固定的一小部分。

四块加起来,再留两成余量,就是实际需要的显存。

权重怎么算?

按参数量和精度算。全精度每个参数四字节,半精度两字节,八比特一字节,四比特零点五字节。

一个七十亿参数的模型,半精度需要十四GB,四比特需要三点五GB。

实际还有额外开销:量化会保留一部分高精度层,嵌入层通常不量化,所以真实占用比理论值高百分之十到二十。

键值缓存怎么算?

按层数、头数、头维度、上下文长度、批大小算。粗略估法是:每千词元上下文,每十亿参数,大约需要零点几GB。

实用做法是查框架文档里的表格,或者跑一次实测。不同模型的注意力和缓存策略不同,公式差异较大。

激活值怎么算?

按批大小和序列长度算,通常是权重之外的一小部分。批大小翻倍,激活值大致翻倍。

长上下文场景下激活值会显著增长,这时候要专门算。

怎么快速估?

三步。第一步,参数量的GB数按精度算出来。第二步,加上百分之二十的额外开销。第三步,按上下文长度和批大小加缓存,通常按权重的一半估。

三步结果再加两成余量,就是可用的下限。

举例:一个三百二十亿参数的四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,留余量约三十六GB。一张四十GB的卡勉强够,两张更稳。

量化会损失什么?

四比特量化的质量损失在多数任务上不明显,在需要精确计算和长推理的任务上有影响。

八比特基本无损。混合量化(大部分四比特,关键层八比特)是折中方案。

选择原则:能上八比特就上八比特,显存实在不够再降到四比特,并且在自己的任务上做对比测试。

还有哪些隐性成本?

第一是加载时间。大模型从磁盘加载到显存要几分钟,频繁切换模型会很慢。

第二是并发能力。显存够跑一个请求,不代表能同时跑十个。并发要按批大小算。

第三是散热和功耗。长时间满载会降频,实际吞吐低于峰值。

该买什么卡?

按需求分。只跑推理、模型固定、要低延迟,选大显存的推理卡。要微调、要换模型、要跑实验,选通用卡。

不要一上来就买顶配。先用现有的卡跑通流程,测出实际瓶颈,再决定加什么。

结论?

显存计算的核心是把四块拆开算,不要用一个总数糊过去。算清楚了,采购和部署都不会踩坑。

最容易被忽略的是键值缓存,它随上下文长度增长,长上下文场景下可能超过权重本身。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论