本地部署大模型,第一个要算的是显存。算错了,要么买多了浪费,要么买少了跑不动。
这里给一套实用的估算方法,不用记公式,按步骤算就行。
显存被谁占用了?
四块。模型权重、键值缓存、激活值、框架开销。
权重是大头,键值缓存随上下文长度增长,激活值随批大小增长,框架开销是固定的一小部分。
四块加起来,再留两成余量,就是实际需要的显存。
权重怎么算?
按参数量和精度算。全精度每个参数四字节,半精度两字节,八比特一字节,四比特零点五字节。
一个七十亿参数的模型,半精度需要十四GB,四比特需要三点五GB。
实际还有额外开销:量化会保留一部分高精度层,嵌入层通常不量化,所以真实占用比理论值高百分之十到二十。
键值缓存怎么算?
按层数、头数、头维度、上下文长度、批大小算。粗略估法是:每千词元上下文,每十亿参数,大约需要零点几GB。
实用做法是查框架文档里的表格,或者跑一次实测。不同模型的注意力和缓存策略不同,公式差异较大。
激活值怎么算?
按批大小和序列长度算,通常是权重之外的一小部分。批大小翻倍,激活值大致翻倍。
长上下文场景下激活值会显著增长,这时候要专门算。
怎么快速估?
三步。第一步,参数量的GB数按精度算出来。第二步,加上百分之二十的额外开销。第三步,按上下文长度和批大小加缓存,通常按权重的一半估。
三步结果再加两成余量,就是可用的下限。
举例:一个三百二十亿参数的四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,留余量约三十六GB。一张四十GB的卡勉强够,两张更稳。
量化会损失什么?
四比特量化的质量损失在多数任务上不明显,在需要精确计算和长推理的任务上有影响。
八比特基本无损。混合量化(大部分四比特,关键层八比特)是折中方案。
选择原则:能上八比特就上八比特,显存实在不够再降到四比特,并且在自己的任务上做对比测试。
还有哪些隐性成本?
第一是加载时间。大模型从磁盘加载到显存要几分钟,频繁切换模型会很慢。
第二是并发能力。显存够跑一个请求,不代表能同时跑十个。并发要按批大小算。
第三是散热和功耗。长时间满载会降频,实际吞吐低于峰值。
该买什么卡?
按需求分。只跑推理、模型固定、要低延迟,选大显存的推理卡。要微调、要换模型、要跑实验,选通用卡。
不要一上来就买顶配。先用现有的卡跑通流程,测出实际瓶颈,再决定加什么。
结论?
显存计算的核心是把四块拆开算,不要用一个总数糊过去。算清楚了,采购和部署都不会踩坑。
最容易被忽略的是键值缓存,它随上下文长度增长,长上下文场景下可能超过权重本身。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论