在本地跑大模型,Ollama 是最省事的入口。但省事不等于好用,几个参数不理解,体验会很差。

模型该怎么选?

先看参数量与显存的匹配。参数量越大,需要的内存越多。显存不够会借用内存,速度骤降。

量化版本是常见选择。四比特量化能显著降低占用,质量损失在多数任务上可接受。要求高时用更高比特。

不要盲目追大。一个能流畅跑的七比特模型,比一个卡顿的三十比特模型更实用。

上下文长度怎么设?

默认上下文通常不长。处理长文档时要手动调大,但调大会显著增加内存占用。

调大之后如果变慢或崩溃,说明内存不够。折中办法是分段处理,而不是一味加大。

速度受什么影响?

第一是硬件。GPU 推理比 CPU 快一个量级。第二是量化。低比特更快。第三是上下文长度。越长越慢。

还有一个隐性因素是模型首次加载。第一次调用要等加载,之后就快。批量任务要算上这一次。

怎么用好它做实际工作?

第一,固定模型。频繁换模型会让体验碎片化,也不利于积累提示词。

第二,写系统提示词。把角色、格式、禁忌写进去,输出会稳定很多。

第三,控制输出长度。不限制的话,模型容易啰嗦。

本地部署相比云端有什么取舍?

优势是数据不出本机、无调用费用、可离线。劣势是模型能力通常弱于顶级云端模型,维护要自己来。

适合做隐私敏感的处理、批量低成本任务、以及需要定制的场景。不适合追求最强推理的任务。

常见坑是什么?

内存不足导致系统卡死。跑大模型前先确认可用内存,必要时加虚拟内存。

端口冲突。默认端口被占用时,换端口或先查占用进程。

最后一句:本地模型的价值在可控,不在最强。把它放在合适的任务上,就很值。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论