GGUF

两个工具，两种口味 本地跑大模型，新手最先撞上的两个工具是 Ollama 和 LM Studio。它们底层都吃 GGUF 量化模型，差别在交互哲学。Ollama 走极简命令行路线：ollama run qwen2.5 一条命令就下载并开始对话，自带 OpenAI 兼容 API（默认端口 11434），适合脚本、服务集成和服务器上跑。LM Studio 则是图形界面，自带模型浏览器，点几下就能搜、下载、加载、聊天，还能本地起一个 OpenAI 兼容服务器，适合不想碰命令行、想先可视化试模型的人。一句话：要省事集成选 Ollama，要直观摸索选 LM Studio。 选模型的三个实操点 第一，先看量化档位再下载。同一个 7B 模型，Q4_K_M 约 4GB、Q8_0 约 8GB，别下错成 FP16（14GB）把自己显存撑爆。LM Studio 会按你的显卡筛选能跑的模型，Ollama 则默认拉适中档位。第二，上下文长度要手动设。默认上下文 often 偏小，长文档场景要在参数里把 num_ctx 调到 8K、32K——但记住 KV Cache 随长度线性涨，调太大又会爆显存。第三，别用错后端：N 卡走 CUDA，A 卡走 ROCm，苹果芯片走 Metal，装错版本会慢到怀疑人生。LM Studio 安装时会让你选，Ollama 则自动检测。 API 调用与接 Agent 两个工具都暴露 OpenAI 兼容接口，这是它们的关键价值。意味着你可以把本地模型当成「本地版 GPT」，任何支持 OpenAI SDK 的框架改一下 base_url 就能接——LangChain、LangGraph、各类 Agent 框架无缝切换。调试时一个实用习惯：先用命令行或界面把模型跑顺、确认参数对，再切到 API 接业务，避免一上来就在集成层调不出来时分不清是模型问题还是代码问题。 常见坑 一是模型互相占显存：上一个模型没卸载，下一个加载就 OOM。Ollama 会自动卸载，但多开时仍要留意。二是tokenizer 与模板不匹配：手动换模型文件时，用错 chat 模板会让模型输出格式混乱，优先用工具自带的模型库而非自己乱拼文件。三是量化过度：图小选了 IQ2、IQ3 这类极低档位，质量肉眼可见地崩，省显存的代价是变笨，得不偿失。 ...

它解决的到底是什么问题 llama.cpp 由 Georgi Gerganov 在 2023 年初开源，核心使命只有一个：让大语言模型在没有大规模 GPU 集群的地方也能跑起来。它用纯 C/C++ 重写了 Transformer 推理，不依赖 CUDA 也能在 CPU、Apple Silicon、Vulkan、ROCm、Metal 上运行，再配上 GGUF 这种自有的量化权重格式，把 7B 模型压进 4GB 显存。到 2026 年 10 月刚发布的 v0.6.0，它已经能把 GLM-5.3-Flash 这个 320B 的文本加视觉混合 MoE 模型装进稳定 tag，并原生支持 Qwen4Exp 的 MTP（Multi-Token Prediction）投机解码。一个出生于笔记本电脑的项目，如今成了本地推理的事实底座。 GGUF 与量化：省显存的底层逻辑 GGUF 把模型权重、超参数、分词器打包进一个文件，量化是它的杀手锏。常见档位从 Q8_0（约 8bit）一路降到 Q4_K_M（等效约 4.5bit）、Q3_K_M，再到 IQ 系列的二值化、三值化量化。K 系列用混合精度：重要的张量保留高位宽，不重要的压到更低，配合 imatrix（重要性矩阵）校准，让量化质量损失降到可接受范围。代价也很直接——位宽越低，困惑度上升越明显，在数学、长上下文这类任务上掉点比闲聊更狠。所以工程上的默认建议是 Q4_K_M 起步，质量敏感再上 Q5_K_M、Q6_K。 offload 与异构是它的看家本领 llama.cpp 用 --n-gpu-layers 控制把多少层放进显存，剩下的自动留在内存里由 CPU 算。这意味着一张 24GB 卡可以 offload 大部分层、只把最后几层甩给内存，速度慢但能跑通。再加上 GBNF 语法约束、prompt cache、slots 多槽并发，它从一个「能跑」的玩具长成了能挂 OpenAI 兼容 API 的服务端（llama-server）。 ...

Ollama 的定位：一行命令的本地运行时 相比 LM Studio 的图形化，Ollama 走的是命令行极简路线：装完之后，ollama run qwen2.5 一条命令就把模型下载、加载、对话全搞定。它特别适合服务器、无人值守环境、以及要写脚本自动化的场景——没有界面，纯靠命令和 API，反而最容易嵌进流水线。 高频命令速查 命令 作用 示例 ollama run 拉取并进入对话 ollama run qwen2.5:7b ollama pull 只下载不对话 ollama pull gemma2:9b ollama list 看本地已有模型 ollama list ollama ps 看当前加载在内存的模型 ollama ps ollama rm 删除模型释放磁盘 ollama rm qwen2.5:7b ollama serve 启动 API 服务 ollama serve 默认情况下，装完 Ollama 它会自动在后台起服务，监听 http://localhost:11434，而且这个 API 也是 OpenAI 兼容的（路径在 /v1 下）。也就是说，你可以像调云端一样调本地： from openai import OpenAI client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama") resp = client.chat.completions.create( model="qwen2.5:7b", messages=[{"role": "user", "content": "用一句话解释什么是RAG"}] ) 模型名就用 ollama list 里显示的那个（带冒号版本号）。 ...

为什么新手该先碰 LM Studio 命令行跑 llama.cpp、Ollama，对习惯了图形界面的人有门槛：模型去哪下、量化版本选哪个、参数怎么填，全靠查文档。LM Studio 的价值就是把这些全图形化：内置 Hugging Face 模型搜索、一键下载、自动按你的显卡推荐量化档位、对话框直接聊，还能一键起一个 OpenAI 兼容的本地 API 服务——你写的 Python 代码把 base_url 一改，就能从调云端切到调本地模型。 四步跑通 第一步，下载安装：官网 lmstudio.ai 下载对应系统版本（Windows/macOS/Linux 都有），安装后首次启动会自动检测你的 GPU 和可用显存。 第二步，找模型选量化：搜索栏输入模型名（比如 qwen2.5-7b 或 gemma-2-9b），选 GGUF 格式的仓库。下载时会让你选量化版本——显存 8GB 左右选 Q4_K_M，这是质量和体积的平衡点，别盲目下 Q8 或 FP16，那是给大显存准备的。 第三步，加载对话：在 Chat 界面选刚下载的模型，等右侧进度条显示 loaded 就能聊。左下角可以调上下文长度（Context Length）、GPU offload 层数，显存吃紧就把 offload 层往小压。 第四步，开 API 服务：进入 Developer（开发者）标签，点 Start，默认在 http://localhost:1234/v1 起一个服务。这时你的代码可以这样调： from openai import OpenAI client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio") resp = client.chat.completions.create( model="qwen2.5-7b-instruct", messages=[{"role": "user", "content": "你好"}] ) api_key 随便填，本地不校验。 三个实操提醒 第一，模型文件存在哪要心里有数：默认在用户目录下的 .cache/lm-studio/models，模型动辄几个 GB，C 盘紧张的话在设置里把模型目录迁到大盘。第二，上下文长度别拉满：8B 模型开 32K 上下文，KV Cache 会吃掉好几个 GB，显存不够就加载失败，按实际任务需要设。第三，API 服务一次只加载一个模型：LM Studio 的服务器同时只能服务一个已加载模型，要换模型得先在界面里切换，别在代码里指望热切换。 ...