小模型

前言 大模型军备竞赛背后，小模型（SLM）正悄然改变 AI 落地的游戏规则。7B 参数的模型已经可以在消费级 GPU 上流畅运行，而 1B-3B 参数的模型甚至能在手机、IoT 设备和嵌入式系统中本地运行。本文将全面对比 2026 年最具代表性的 7B 以下小型语言模型，从性能、延迟、内存占用和部署成本四个维度帮助你做出最优选择。 一、为什么选择小模型？ 1.1 小模型的价值方程 大模型 (70B+) 小模型 (≤7B) ───────────────── ───────────────── API 成本: $15/M输入 API 成本: $0.2/M输入 延迟: 800ms+ 延迟: 50-200ms 需云端部署 可本地运行 隐私: 数据需上云 隐私: 完全本地处理 无法离线 完全离线可用 小模型的核心优势： 🚀 低延迟：本地推理，无网络往返 💰 低成本：一次性部署，零边际成本 🔒 强隐私：敏感数据不离设备 ⚡ 离线可用：无网络环境仍可工作 🔧 精细控制：私有化定制，无供应商锁定 1.2 小模型的适用边界 小模型并非万能，以下场景建议选择更大参数模型： 场景 推荐模型规模 理由 复杂推理/数学证明 70B+ 需要更强的链式推理能力 多语言翻译（高要求） 70B+ 小模型翻译质量明显下降 超长上下文摘要 100B+ 128K+ 上下文需要大参数 创意写作（长篇） 70B+ 7B 模型长文本连贯性有限 实时对话/客服 7B 及以下 延迟要求高，小模型足够 本地知识库问答 7B RAG 增强后小模型效果大幅提升 边缘设备推断 3B 及以下 手机/IoT 设备内存限制 二、主流小模型全家福 2.1 模型参数规格对比 模型 参数量 隐藏维度 注意力头 词汇表大小 架构 Qwen2.5-7B 7.07B 3,584 28 151,936 Decoder-only Qwen2.5-3B 2.98B 1,792 16 151,936 Decoder-only LLaMA-3.2-3B 3.2B 3,072 24 128,256 Decoder-only LLaMA-3.2-1B 1.2B 2,048 16 128,256 Decoder-only Phi-3.5-mini 3.8B 3,072 32 32,064 Decoder-only Phi-3.5-small 1.3B 2,048 24 32,064 Decoder-only MiniCPM-3B 2.8B 2,560 24 73,440 Decoder-only Gemma-2-2B 2.0B 2,304 8 256,000 Decoder-only SmolLM2-1.7B 1.7B 1,664 16 49,280 Decoder-only DeepSeek-7B-Lite 6.7B 2,048 32 102,400 MoE 三、性能基准测试 3.1 通用能力评测（MMLU / HellaSwag） 模型 MMLU (%) HellaSwag (%) ARC-C (%) 参数量效率 (MMLU/B) Qwen2.5-7B 76.2 85.1 68.4 10.8 Qwen2.5-3B 63.4 78.2 54.3 21.1 LLaMA-3.2-3B 62.5 77.9 53.8 19.5 LLaMA-3.2-1B 49.2 68.4 38.1 41.0 Phi-3.5-mini 68.1 80.4 58.7 17.9 Phi-3.5-small 58.3 74.1 47.2 44.8 MiniCPM-3B 61.8 76.3 52.9 22.1 Gemma-2-2B 58.9 74.8 48.6 29.5 DeepSeek-7B-Lite 72.4 83.6 64.1 10.8 关键发现： ...

核心矛盾 2026 年了，所有人都在追旗舰模型。但现实是：你花 $10/M tokens 调 GPT-4o 做的情感分析，用 $0.15/M 的 GPT-4o-mini 准确率只低 2%。那 2% 值 66 倍的价格吗？ 大模型和小模型不是替代关系，是分工关系。关键是搞清楚什么场景该用什么。 小模型的核心优势 1. 成本碾压 模型 级别 输入价格 输出价格 相对成本 GPT-4o 旗舰 $2.50/M $10.00/M 1x GPT-4o-mini 小模型 $0.15/M $0.60/M 1/17 Gemini 2.0 Flash 小模型 $0.075/M $0.30/M 1/33 Qwen3-72B 中型 $0.05/M $0.15/M 1/67 GLM-5 小模型 $0.10/M $0.30/M 1/33 假设日均 1000 万 tokens 输入 + 200 万 tokens 输出： GPT-4o：$45/天 → $1,350/月 GPT-4o-mini：$2.7/天 → $81/月 Gemini Flash：$1.35/天 → $40.5/月 一年下来差了 16 万人民币。 这还不算规模放大后的倍数效应。 ...

为什么关注小模型 GPT-5、Claude 4 很强，但每次调用 $0.03-0.15。如果日均 10,000 次请求，月成本 $9,000-45,000。而一个 7B 模型跑在自己的服务器上，月成本 $200（一台 GPU 服务器）。 更重要的是：数据不出内网，零延迟，无限调用。 2026 主流小模型一览 模型 参数量 上下文 中文能力 许可证 Qwen3-7B 7B 128K ★★★★★ Apache 2.0 Llama-3.3-8B 8B 128K ★★★☆ Llama License DeepSeek-V3-Lite 12B 64K ★★★★ MIT Mistral-7B-v0.4 7B 32K ★★☆ Apache 2.0 Gemma-3-9B 9B 128K ★★★☆ Gemma License Yi-1.5-9B 9B 32K ★★★★ Apache 2.0 实测：Agent 任务表现 测试集设计 我们设计了 100 个 Agent 任务，分为 5 类： 信息提取（20题）：从文本中提取结构化信息 多轮对话（20题）：5-10 轮上下文的对话 工具调用（20题）：Function Calling 准确率 推理任务（20题）：多步逻辑推理 代码生成（20题）：Python 函数编写 测试结果 模型 信息提取 多轮对话 工具调用 推理任务 代码生成 总分 Qwen3-7B 95% 88% 82% 75% 78% 83.6% Llama-3.3-8B 90% 85% 78% 72% 82% 81.4% DeepSeek-V3-Lite 92% 86% 80% 78% 85% 84.2% Mistral-7B 85% 80% 70% 65% 75% 75.0% GPT-4o-mini 96% 92% 90% 85% 88% 90.2% 关键发现： ...