LM Studio 的可调参数不少,但真正影响体验的只有几个。抓住这几个,比逐项调优有效。
第一个关键参数是什么?
是 GPU 卸载层数。卸载得越多,速度越快,但显存占用也越高。卸载太少会退回 CPU,速度骤降。
调法是从满档开始,逐步下调,直到稳定不崩。找到那个临界点,就是你这台机器的最优值。
第二个关键参数是什么?
是上下文长度。它决定一次能处理多少内容,也决定内存占用。
设得过大,会预分配大量内存,即使没用到也会占着。设得太小,长文档会被截断。按实际需求设,不要贪大。
第三个关键参数是什么?
是量化等级。同一个模型有不同量化版本,等级越低越快越省,质量越差。
做创意生成可以低一些,做代码和精确问答要高一些。这个取舍没有统一答案,取决于任务。
采样参数怎么调?
温度控制随机性。低温度更稳定,高温度更多样。做事实问答用低温,做创意用高温。
重复惩罚防止车轱辘话。设得太高会让表达变怪,适中即可。
怎么建立稳定配置?
为不同任务建不同配置档。写代码一档、写文案一档、做摘要一档。切换比每次手调快。
记录每档的参数和效果。时间久了,你会有自己的经验表,比任何教程都准。
系统层面要注意什么?
显存溢出会导致整机卡死,不只是程序崩。跑大模型前关掉占显存的程序,配置足够的虚拟内存。
长时间运行要定期重启。显存碎片累积会让原本能跑的配置突然失败。
怎么判断配置是否合适?
看三个指标:首字延迟、生成速度、是否崩溃。首字延迟太长,说明加载或上下文有问题;速度慢,说明卸载不够;崩溃,说明余量不足。
最后一句:调参的目标不是跑分最高,是长时间稳定。稳定比快更重要。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论