在本地跑大模型,Ollama 是最省事的入口。但省事不等于好用,几个参数不理解,体验会很差。
模型该怎么选?
先看参数量与显存的匹配。参数量越大,需要的内存越多。显存不够会借用内存,速度骤降。
量化版本是常见选择。四比特量化能显著降低占用,质量损失在多数任务上可接受。要求高时用更高比特。
不要盲目追大。一个能流畅跑的七比特模型,比一个卡顿的三十比特模型更实用。
上下文长度怎么设?
默认上下文通常不长。处理长文档时要手动调大,但调大会显著增加内存占用。
调大之后如果变慢或崩溃,说明内存不够。折中办法是分段处理,而不是一味加大。
速度受什么影响?
第一是硬件。GPU 推理比 CPU 快一个量级。第二是量化。低比特更快。第三是上下文长度。越长越慢。
还有一个隐性因素是模型首次加载。第一次调用要等加载,之后就快。批量任务要算上这一次。
怎么用好它做实际工作?
第一,固定模型。频繁换模型会让体验碎片化,也不利于积累提示词。
第二,写系统提示词。把角色、格式、禁忌写进去,输出会稳定很多。
第三,控制输出长度。不限制的话,模型容易啰嗦。
本地部署相比云端有什么取舍?
优势是数据不出本机、无调用费用、可离线。劣势是模型能力通常弱于顶级云端模型,维护要自己来。
适合做隐私敏感的处理、批量低成本任务、以及需要定制的场景。不适合追求最强推理的任务。
常见坑是什么?
内存不足导致系统卡死。跑大模型前先确认可用内存,必要时加虚拟内存。
端口冲突。默认端口被占用时,换端口或先查占用进程。
最后一句:本地模型的价值在可控,不在最强。把它放在合适的任务上,就很值。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论