llama.cpp 完全指南：CPU 也能跑大模型
llama.cpp 架构 llama.cpp 是 Georgi Gerganov 用纯 C/C++ 编写的 LLM 推理引擎，最初为 LLaMA 模型设计，现已支持 40+ 模型架构。其核心设计哲学： 零依赖：仅依赖 C/C++ 标准库，编译后单二进制运行 跨平台：x86/ARM CPU、NVIDIA/AMD/Apple GPU、WebAssembly 量化优先：原生 GGML/GGUF 量化格式，在 CPU 上实现实用级推理速度 ┌─────────────────────────────────────────┐ │ CLI / Server / API │ │ (llama-cli / llama-server) │ ├─────────────────────────────────────────┤ │ GGML Compute Graph │ │ (Operator Fusion + SIMD/NEON) │ ├──────────┬───────────┬──────────────────┤ │ CPU │ CUDA │ Metal / Vulkan │ │ Backend │ Backend │ Backend │ │ (AVX2/ │ (NVIDIA) │ (Apple/AMD/Intel)│ │ AVX512/ │ │ │ │ NEON) │ │ │ └──────────┴───────────┴──────────────────┘ GGUF 格式 GGUF（GGML Universal Format）是 llama.cpp 的模型文件格式，取代了早期的 GGML 格式。 ...