本地 LLM 部署选型：Ollama vs vLLM vs LM Studio vs TGI
前言 随着开源大模型的飞速发展，本地部署 LLM 已经从"极客玩具"变成了"企业标配"。无论你是想在 MacBook 上运行个人 AI 助手，还是需要在 GPU 集群上部署高并发推理服务，选择正确的部署框架都至关重要。本文将深度对比 2026 年最主流的四种本地 LLM 部署方案：Ollama、vLLM、LM Studio 和 Hugging Face TGI，从性能、易用性、扩展性和生产适用性四个维度给出全面建议。 一、参评方案概览 方案 开发商 核心语言 推理引擎 目标场景 开源 Ollama Ollama Inc. Go llama.cpp 个人/轻量级 ✅ vLLM UC Berkeley Python PyTorch + CUDA 生产/高并发 ✅ LM Studio Element Labs TypeScript/Electron llama.cpp 桌面 GUI ❌ 免费使用 TGI Hugging Face Rust + Python Transformers + Flash Attention 生产/企业 ✅ 二、核心特性对比 2.1 功能矩阵 特性 Ollama vLLM LM Studio TGI GUI 界面 ❌ CLI ❌ API only ✅ 桌面应用 ❌ API only OpenAI 兼容 API ✅ ✅ ✅ ✅ 多 GPU 支持 ⚠️ 有限 ✅ 张量并行 ❌ ✅ 量化支持 GGUF 全格式 AWQ/GPTQ/FP8 GGUF GPTQ/AWQ/BitsAndBytes PagedAttention ❌ ✅ ❌ ✅ 连续批处理 ❌ ✅ ❌ ✅ 流式输出 ✅ ✅ ✅ ✅ 模型库 Ollama Library HuggingFace HuggingFace HuggingFace Docker 支持 ✅ ✅ ❌ ✅ Kubernetes ⚠️ 社区方案 ✅ 官方 ❌ ✅ 官方 2.2 支持的模型格式 格式 Ollama vLLM LM Studio TGI GGUF ✅ 原生 ❌ ✅ 原生 ❌ Safetensors ⚠️ 转换 ✅ 原生 ⚠️ 转换 ✅ 原生 PyTorch (.bin) ⚠️ 转换 ✅ ⚠️ 转换 ✅ AWQ ❌ ✅ ❌ ✅ GPTQ ❌ ✅ ❌ ✅ FP8 ❌ ✅ ❌ ⚠️ 实验 MLX ⚠️ Mac 专用 ❌ ⚠️ Mac ❌ 三、性能基准对比 3.1 单卡推理性能 测试环境： NVIDIA RTX 4090 (24GB)，模型 Qwen2.5-7B-Instruct，FP16，批量=1 ...