llama.cpp 到 1.0 之后,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。

第一个参数是什么?

上下文长度。它决定单次能处理多长的输入,也决定显存占用。

设太大浪费显存,设太小长文档截断。

第二个参数是什么?

并行槽位。同时处理几个请求。槽位多,吞吐高,但每个槽位的上下文都要占显存。

槽位数乘上下文长度,才是真实占用。

第三个参数是什么?

批大小。影响提示词处理速度,不影响生成速度。

长提示词场景可以调大,短对话场景调大没意义。

第四个参数是什么?

线程数。等于物理核心数最稳,超过会因调度开销变慢。

别按逻辑核心数设。

第五个参数是什么?

显存卸载层数。决定多少层放显卡,多少层留内存。

放显卡的层越多越快,但要看显存余量。

怎么找平衡点?

三步。先跑默认配置记录速度,再逐项调大看瓶颈,最后固定在稳定值上留一成余量。

留余量是为了应对突发长请求。

常见错误配置有哪些?

三个。上下文设到模型上限,槽位开到八,线程按超线程数设。

三个都会导致变慢或崩溃。

怎么监控?

看三个数:首 token 延迟、生成速度、显存峰值。

三个数都稳,配置才算对。

一句话判断?

参数不是越多越好,是匹配场景。先想清楚是长文档还是短对话,再决定怎么设。

设对了,普通卡也能跑得顺。

参数要不要跟着模型换?

要。不同模型的上下文窗口、显存占用、注意力实现差别很大,参数照搬要么浪费显存,要么直接崩溃。

换模型时重新跑一遍基线:首 token 延迟、生成速度、显存峰值。三个数对上再定参数,别沿用旧配置。

同簇还有哪几篇值得一起看?

想就这个话题接着到论坛聊吗?

前往 ziyuanagi.com 论坛 参与讨论