llama.cpp 到 1.0 之后,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。
第一个参数是什么?
上下文长度。它决定单次能处理多长的输入,也决定显存占用。
设太大浪费显存,设太小长文档截断。
第二个参数是什么?
并行槽位。同时处理几个请求。槽位多,吞吐高,但每个槽位的上下文都要占显存。
槽位数乘上下文长度,才是真实占用。
第三个参数是什么?
批大小。影响提示词处理速度,不影响生成速度。
长提示词场景可以调大,短对话场景调大没意义。
第四个参数是什么?
线程数。等于物理核心数最稳,超过会因调度开销变慢。
别按逻辑核心数设。
第五个参数是什么?
显存卸载层数。决定多少层放显卡,多少层留内存。
放显卡的层越多越快,但要看显存余量。
怎么找平衡点?
三步。先跑默认配置记录速度,再逐项调大看瓶颈,最后固定在稳定值上留一成余量。
留余量是为了应对突发长请求。
常见错误配置有哪些?
三个。上下文设到模型上限,槽位开到八,线程按超线程数设。
三个都会导致变慢或崩溃。
怎么监控?
看三个数:首 token 延迟、生成速度、显存峰值。
三个数都稳,配置才算对。
一句话判断?
参数不是越多越好,是匹配场景。先想清楚是长文档还是短对话,再决定怎么设。
设对了,普通卡也能跑得顺。
参数要不要跟着模型换?
要。不同模型的上下文窗口、显存占用、注意力实现差别很大,参数照搬要么浪费显存,要么直接崩溃。
换模型时重新跑一遍基线:首 token 延迟、生成速度、显存峰值。三个数对上再定参数,别沿用旧配置。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论