六十四 G 统一内存（或显存）跑本地大模型，属于「能玩得很舒服」的档位。很多人问这个档位到底能跑什么模型，答案取决于你跑的是显卡显存还是统一内存，以及用什么精度。下面按实测经验给一张选型表，避免下载半天发现跑不动。

64G 显存能跑多大模型？

按显存占用粗算：七 B 到八 B 量级模型，用 Q4 量化约五到六 G，Q8 约八到九 G，属于开胃菜；十四 B 量级 Q4 约九到十一 G，Q8 约十五 G，日常对话顺滑。三十二 B 量级 Q4 约二十 G 上下，是这个档位的主力甜点——上下文拉到三十二 K 也还从容。七十 B 量级 Q4 约四十到四十五 G，能跑但速度明显慢，适合夜间批量任务不适合实时对话。统一内存架构的机器要额外留八到十 G 给系统和 KV 缓存，实际可支配打个九折。

选模型时除了参数规模还看什么？

三件事。一看上下文窗口，十六 K 以下的模型当聊天助手够用，要长文档处理就选一百二十八 K 以上的版本，注意长上下文会吃 KV 缓存显存。二看量化档位取舍：日常用 Q4_K_M 是质量与速度的平衡点，写代码或做推理建议 Q6 以上。三看模型定位，通用对话、代码、写作、推理各有侧重的开源权重，别拿纯聊天模型去跑数学题。

部署时最容易忽视的坑？

两个。一是推理框架版本，新版本对常见模型的 kernels 优化差异很大，升级一版可能速度提升一截。二是上下文开太满，为了塞长文档把 KV 缓存拉爆，反而频繁交换内存。建议：三十二 G 显存以上机器，常驻一个十四 B 主力模型；六十 G 以上再挂三十二 B 当重武器。先小后大，别一上来就下七十 B。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论