本地 LLM 部署选型：Ollama vs vLLM vs LM Studio vs TGI

# 安装（一行命令）
curl -fsSL https://ollama.com/install.sh | sh

# 运行模型
ollama run qwen2.5:7b

# 启动 API 服务（默认 11434 端口）
ollama serve

# 安装
pip install vllm

# 启动 OpenAI 兼容服务器
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.90

1. 下载安装包（Windows/Mac/Linux）
2. 打开应用
3. 搜索模型 → 下载 → 对话
4. 启动本地 API 服务器（点击按钮）

# 使用 Docker 启动
docker run --gpus all -p 8080:80 \
    -v $PWD/data:/data \
    ghcr.io/huggingface/text-generation-inference:latest \
    --model-id Qwen/Qwen2.5-7B-Instruct \
    --quantize bitsandbytes

# vllm-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-qwen-7b
spec:
  replicas: 2
  selector:
    matchLabels:
      app: vllm-qwen-7b
  template:
    metadata:
      labels:
        app: vllm-qwen-7b
    spec:
      containers:
      - name: vllm
        image: vllm/vllm-openai:latest
        args:
          - --model=Qwen/Qwen2.5-7B-Instruct
          - --tensor-parallel-size=1
          - --gpu-memory-utilization=0.90
          - --max-model-len=8192
        ports:
          - containerPort: 8000
        resources:
          limits:
            nvidia.com/gpu: 1
            memory: 32Gi
          requests:
            nvidia.com/gpu: 1
            memory: 16Gi
        livenessProbe:
          httpGet:
            path: /health
            port: 8000
          initialDelaySeconds: 120
          periodSeconds: 30
---
apiVersion: v1
kind: Service
metadata:
  name: vllm-service
spec:
  selector:
    app: vllm-qwen-7b
  ports:
  - port: 80
    targetPort: 8000
  type: LoadBalancer

# nginx.conf — Ollama 多实例负载均衡
upstream ollama_backend {
    server 10.0.0.1:11434 weight=1;
    server 10.0.0.2:11434 weight=1;
    server 10.0.0.3:11434 weight=1;
}

server {
    listen 80;
    
    location /api/ {
        proxy_pass http://ollama_backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_read_timeout 300s;  # LLM 推理可能较慢
    }
}

你的使用场景是？

├─ 个人开发 / 本地测试
│   ├─ 需要 GUI → LM Studio
│   └─ 偏好 CLI → Ollama
│
├─ 小团队 (5-20人)
│   ├─ 简单易维护 → Ollama + Nginx
│   └─ 需要高并发 → vLLM (单卡)
│
├─ 中型企业 (50-500人)
│   ├─ DevOps 能力强 → vLLM + Kubernetes
│   └─ 偏好官方支持 → TGI + Docker
│
├─ 大规模生产 (1000+用户)
│   ├─ 首选 → vLLM + Ray + Kubernetes
│   └─ 备选 → TGI 集群
│
└─ 特殊场景
    ├─ 纯 CPU 环境 → Ollama (llama.cpp)
    ├─ Mac M 系列 → Ollama / MLX
    ├─ 边缘设备 → Ollama (精简版)
    └─ 教学演示 → LM Studio (可视化)

# 方案 1: 创业公司 (20人团队, 预算有限)
startup_arch = {
    "部署": "Ollama ×2 (RTX 4090)",
    "负载均衡": "Nginx",
    "模型": "Qwen2.5-7B (INT4)",
    "监控": "Grafana + Ollama Exporter",
    "月成本": "¥500-800",
    "并发支持": "10-15 并发用户"
}

# 方案 2: 中型企业 (200人团队, 需要高可用)
enterprise_arch = {
    "部署": "vLLM + Kubernetes",
    "GPU": "A100 80GB ×4",
    "模型": "Qwen2.5-72B (INT8) 或 DeepSeek V4",
    "负载均衡": "Kubernetes Ingress + Ray Serve",
    "监控": "Prometheus + Grafana",
    "月成本": "¥12,000-20,000",
    "并发支持": "100-200 并发用户"
}

# 方案 3: 研究机构 (多模型, 灵活切换)
research_arch = {
    "部署": "TGI (Docker Compose)",
    "GPU": "A100 80GB ×2",
    "模型": "多模型热切换 (Qwen, LLaMA, DeepSeek)",
    "管理": "HuggingFace Hub 集成",
    "月成本": "¥8,000-12,000",
    "特色": "模型实验友好, 量化支持全面"
}