LM Studio 的可调参数不少,但真正影响体验的只有几个。抓住这几个,比逐项调优有效。

第一个关键参数是什么?

是 GPU 卸载层数。卸载得越多,速度越快,但显存占用也越高。卸载太少会退回 CPU,速度骤降。

调法是从满档开始,逐步下调,直到稳定不崩。找到那个临界点,就是你这台机器的最优值。

第二个关键参数是什么?

是上下文长度。它决定一次能处理多少内容,也决定内存占用。

设得过大,会预分配大量内存,即使没用到也会占着。设得太小,长文档会被截断。按实际需求设,不要贪大。

第三个关键参数是什么?

是量化等级。同一个模型有不同量化版本,等级越低越快越省,质量越差。

做创意生成可以低一些,做代码和精确问答要高一些。这个取舍没有统一答案,取决于任务。

采样参数怎么调?

温度控制随机性。低温度更稳定,高温度更多样。做事实问答用低温,做创意用高温。

重复惩罚防止车轱辘话。设得太高会让表达变怪,适中即可。

怎么建立稳定配置?

为不同任务建不同配置档。写代码一档、写文案一档、做摘要一档。切换比每次手调快。

记录每档的参数和效果。时间久了,你会有自己的经验表,比任何教程都准。

系统层面要注意什么?

显存溢出会导致整机卡死,不只是程序崩。跑大模型前关掉占显存的程序,配置足够的虚拟内存。

长时间运行要定期重启。显存碎片累积会让原本能跑的配置突然失败。

怎么判断配置是否合适?

看三个指标:首字延迟、生成速度、是否崩溃。首字延迟太长,说明加载或上下文有问题;速度慢,说明卸载不够;崩溃,说明余量不足。

最后一句:调参的目标不是跑分最高,是长时间稳定。稳定比快更重要。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论