小模型选型指南：7B 以下模型性能与部署对比

大模型 (70B+)          小模型 (≤7B)
─────────────────      ─────────────────
API 成本: $15/M输入    API 成本: $0.2/M输入
延迟: 800ms+           延迟: 50-200ms
需云端部署             可本地运行
隐私: 数据需上云       隐私: 完全本地处理
无法离线               完全离线可用

# 场景 1: 个人开发者 MacBook 本地开发
# 推荐: Ollama + Qwen2.5-3B 或 MiniCPM-3B
# 理由: MLX 优化，安静低功耗

# 场景 2: 单卡 GPU 服务器 (RTX 4090)
# 推荐: vLLM + Qwen2.5-7B (INT8)
# 理由: 高并发支持，PagedAttention 显存优化

# 场景 3: 无 GPU 的云服务器
# 推荐: llama.cpp + Qwen2.5-3B (INT4)
# 理由: CPU 推理效率最优

# 场景 4: iOS 移动端应用
# 推荐: CoreML + MiniCPM-2B 或 Phi-3.5-small
# 理由: 功耗控制最佳，隐私完全本地

# 场景 5: Android NPU 端侧部署
# 推荐: MNN/NCNN + Qwen2.5-1.5B (INT4)
# 理由: NPU 加速，续航友好

# 场景 6: 企业内网私有部署
# 推荐: vLLM 集群 + DeepSeek-7B-Lite (INT8)
# 理由: 高吞吐，可私有化定制

# 使用 Ollama 运行 Qwen2.5-3B INT4
# 命令行:
# ollama run qwen2.5:3b

# 使用 llama.cpp 运行 MiniCPM-3B INT4 (GGUF)
# 命令行:
# ./quantize ./models/minicpm-3b-f16.gguf ./models/minicpm-3b-q4_k_m.gguf q4_k_m
# ./main -m ./models/minicpm-3b-q4_k_m.gguf -n 2048 -t 8

# 使用 vLLM 运行 DeepSeek-7B-Lite INT8
# Python:
from vllm import LLM, SamplingParams
llm = LLM(
    model="deepseek-ai/deepseek-7b-lite-instruct",
    quantization="awq",          # INT4 weight-only 量化
    tensor_parallel_size=1,       # 单卡
    gpu_memory_utilization=0.90,  # 显存占用 90%
    max_model_len=4096
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=512)
outputs = llm.generate(["请介绍一下量子计算"], sampling_params)

你的首要约束是？

├─ 性能优先（最强小模型）→ Qwen2.5-7B
│
├─ 速度优先（最快推理）→ Qwen2.5-3B / MiniCPM-3B
│
├─ 中文场景优先 → Qwen2.5 系列 / MiniCPM-3B
│
├─ 手机/边缘部署 → MiniCPM-2B / Phi-3.5-small / Gemma-2-2B
│
├─ 显存极度受限（<6GB）→ Gemma-2-2B / SmolLM2-1.7B
│
└─ 性价比优先 → Qwen2.5-3B (INT4)
    兼顾性能与成本的最佳平衡点