llama.cpp 深度拆解：消费级显卡凭什么跑起 320B 大模型
它解决的到底是什么问题 llama.cpp 由 Georgi Gerganov 在 2023 年初开源，核心使命只有一个：让大语言模型在没有大规模 GPU 集群的地方也能跑起来。它用纯 C/C++ 重写了 Transformer 推理，不依赖 CUDA 也能在 CPU、Apple Silicon、Vulkan、ROCm、Metal 上运行，再配上 GGUF 这种自有的量化权重格式，把 7B 模型压进 4GB 显存。到 2026 年 10 月刚发布的 v0.6.0，它已经能把 GLM-5.3-Flash 这个 320B 的文本加视觉混合 MoE 模型装进稳定 tag，并原生支持 Qwen4Exp 的 MTP（Multi-Token Prediction）投机解码。一个出生于笔记本电脑的项目，如今成了本地推理的事实底座。 GGUF 与量化：省显存的底层逻辑 GGUF 把模型权重、超参数、分词器打包进一个文件，量化是它的杀手锏。常见档位从 Q8_0（约 8bit）一路降到 Q4_K_M（等效约 4.5bit）、Q3_K_M，再到 IQ 系列的二值化、三值化量化。K 系列用混合精度：重要的张量保留高位宽，不重要的压到更低，配合 imatrix（重要性矩阵）校准，让量化质量损失降到可接受范围。代价也很直接——位宽越低，困惑度上升越明显，在数学、长上下文这类任务上掉点比闲聊更狠。所以工程上的默认建议是 Q4_K_M 起步，质量敏感再上 Q5_K_M、Q6_K。 offload 与异构是它的看家本领 llama.cpp 用 --n-gpu-layers 控制把多少层放进显存，剩下的自动留在内存里由 CPU 算。这意味着一张 24GB 卡可以 offload 大部分层、只把最后几层甩给内存，速度慢但能跑通。再加上 GBNF 语法约束、prompt cache、slots 多槽并发，它从一个「能跑」的玩具长成了能挂 OpenAI 兼容 API 的服务端（llama-server）。 ...