端侧部署

引言 2026年，小模型迎来了一场静悄悄的革命。随着模型架构优化、训练方法改进和推理技术成熟，3B级模型的能力已经达到了2024年70B模型的水准。用2024年的眼光看，今天的3B模型已经"够用"于大多数日常任务。本文将全面分析3B级小模型的能力边界、实用场景和部署方案，打破"小模型不行"的迷思。 小模型能力进化 2024 vs 2026：3B模型的能力跃迁 基准 2024年Qwen2 3B 2026年Qwen3.5 3B 提升 MMLU-Pro 42.3% 62.3% +20.0% HumanEval+ 45.2% 75.5% +30.3% GPQA Diamond 18.5% 42.1% +23.6% C-Eval 55.8% 72.8% +17.0% BBH 48.2% 68.5% +20.3% 短短两年，3B模型的各项能力提升了15-30个百分点。这意味着很多2024年需要70B模型才能完成的任务，2026年3B模型就能胜任。 为什么小模型突然"变强"了？ 1. 知识蒸馏的进步 2026年的蒸馏技术更加成熟： 多教师蒸馏：从多个大模型中蒸馏知识 渐进蒸馏：先蒸馏到14B，再到7B，再到3B 课程学习：从简单样本到复杂样本逐步蒸馏 2. 数据质量提升 小模型的训练数据更加精炼： 去除了低质量网页数据 增加了教科书级别的高质量数据 使用大模型合成高质量训练数据 3. 架构优化 针对小模型的专门优化： 更高效的注意力机制（如GQA、MQA） 更好的位置编码（如RoPE改进版） 更稳定的训练方法（如RMSNorm、SwiGLU） 4. 推理时扩展 小模型+推理时扩展（如CoT、Self-Consistency）可以显著提升效果： 3B模型+CoT：接近7B模型效果 3B模型+Self-Consistency：接近14B模型效果 3B级模型对比 主流3B模型评测 模型 MMLU-Pro HumanEval+ C-Eval 推理速度* Qwen3.5 3B 62.3% 75.5% 72.8% 42 tok/s Gemma 3 4B 52.3% 58.5% 62.5% 28 tok/s Phi-4 Mini 3.8B 55.2% 62.1% 48.3% 35 tok/s Llama 4 8B 62.5% 72.5% 55.2% - DeepSeek V4 Lite 2.8B 58.5% 70.2% 68.5% 48 tok/s *推理速度在骁龙8 Gen 4上测试，INT4量化 ...

引言 2026年，端侧大模型部署迎来了真正的爆发年。随着手机芯片AI算力的飞跃、量化技术的成熟和小模型能力的提升，在设备本地运行大模型不再是实验性的尝试，而是成为了可落地的生产方案。本文将从手机、边缘设备和IoT三个场景出发，全面分析端侧大模型的选型、部署和优化。 端侧部署的驱动因素 技术成熟度 2026年端侧部署成熟的几个关键因素： 1. 芯片算力提升 设备类型 代表芯片 AI算力(TOPS) 支持精度 旗舰手机 骁龙8 Gen 4 73 TOPS INT4/INT8/FP16 旗舰手机 A18 Pro 35 TOPS(NPU) INT4/INT8/FP16 Edge设备 Jetson AGX Orin 275 TOPS INT4/INT8/FP16 Edge设备 RK3588 6 TOPS INT4/INT8 IoT设备 ESP32-S3 AI 0.5 TOPS INT4/INT8 2. 小模型能力飞跃 3B级模型在2026年已经达到了2024年70B模型的部分能力： Qwen3.5 3B MMLU-Pro: 62.3%（相当于2024年Llama 3 70B水平） Gemma 3 4B MMLU-Pro: 52.3% 3. 量化技术成熟 INT4量化在2026年已经可以将质量损失控制在2-3%以内，同时将模型大小减少75%。 手机端部署 模型选型 Android端推荐： 使用场景 推荐模型 大小(INT4) 速度(骁龙8G4) 质量 轻量对话 Gemma 3 1B 0.6GB 65 tok/s ★★★ 通用助手 Qwen3.5 3B 1.8GB 42 tok/s ★★★★ 高质量助手 Qwen3.5 7B 4.3GB 12 tok/s ★★★★★ 多模态 Gemma 3 4B 2.5GB 28 tok/s ★★★★ iOS端推荐： ...

引言 Google在2026年2月发布了Gemma 3系列，这是其轻量级开源模型Gemma的第三代产品。Gemma系列一直定位为"可商用的轻量级模型"，面向端侧部署和本地运行场景。Gemma 3相比前代在性能、效率和生态上都有显著提升。本文将全面评测Gemma 3系列，特别是其在端侧设备上的表现。 产品线概览 Gemma 3系列包含5个规格： 模型 参数量 上下文 精度 定位 Gemma 3 27B 27B 128K FP16/INT8/INT4 桌面级旗舰 Gemma 3 12B 12B 128K FP16/INT8/INT4 笔记本主力 Gemma 3 7B 7B 64K FP16/INT8/INT4 通用端侧 Gemma 3 4B 4B 32K INT8/INT4 移动端 Gemma 3 1B 1B 8K INT4 IoT/嵌入式 核心架构 Gemma 3基于Google最新的Gemma 3架构改进： Transformer变体：采用Sliding Window Attention + Global Attention混合机制 RoPE位置编码：支持长上下文外推 分组查询注意力：减少推理计算量 INT4/INT8量化：原生支持多种精度 基准测试 Gemma 3 27B（端侧旗舰） 基准 Gemma 3 27B Llama 4 70B Qwen3.5 72B Mistral Large 3 MMLU-Pro 74.5% 76.2% 78.5% 75.8% HumanEval+ 82.5% 84.5% 87.2% 83.1% GPQA Diamond 48.3% 55.1% 58.3% 52.7% BBH 80.2% 82.1% 84.5% 82.3% Gemma 3 27B的性能接近Llama 4 70B和Qwen3.5 72B，但参数量仅为后者的1/3左右。这体现了Google在模型效率上的深厚功力。 ...

2026 年，端侧大模型已从实验室走向大规模落地。iPhone 16 Pro 搭载的 Neural Engine 算力达 38 TOPS，骁龙 8 Gen 4 的 Hexagon NPU 达 45 TOPS，树莓派 5 也具备了运行 3B 模型的能力。但端侧场景碎片化严重——手机、Edge 服务器、IoT 设备的算力跨度达 100 倍。本文将给出全场景的端侧模型选型与部署方案。 一、端侧硬件能力图谱 设备类型 代表设备 算力(TOPS) 内存 存储 功耗 旗舰手机 iPhone 16 Pro 38 8-12GB 256GB+ 3-5W 安卓旗舰 小米15 Ultra 45 12-16GB 512GB 3-6W 中端手机 Redmi Note 14 12 6-8GB 128GB 2-3W 笔电(M3) MacBook Air M3 18 8-16GB 256GB+ 5-8W Edge服务器 Jetson Orin Nano 40 8GB 128GB 7-15W 单板计算机 Raspberry Pi 5 4.5 8GB 64GB 3-5W IoT控制器 ESP32-S3 0.05 512KB 16MB 0.5W 二、模型选型矩阵 按设备类型选型 设备 推荐模型 参数量 量化 推理速度 场景 iPhone 16 Pro Qwen3.5-3B 3.2B INT4 32 tok/s 对话/翻译 安卓旗舰 Phi-4-mini 3.3B INT4 28 tok/s 代码补全/对话 中端手机 SmolLM3-1.7B 1.7B INT4 25 tok/s 简单问答 MacBook Air M3 Gemma3-4B 3.8B INT4 45 tok/s 文档摘要 Jetson Orin Qwen3.5-7B 7B INT4 35 tok/s 视觉理解 Raspberry Pi 5 SmolLM3-3B 3.0B INT3 8 tok/s 智能家居 ESP32-S3 TinyLlama-1.1B 1.1B INT2 2 tok/s 语音指令 三、手机端部署详解 3.1 iOS 部署（MLX 框架） import MLX import MLXLMCommon // 加载模型 let modelContainer = try await LLMModelFactory.shared.loadContainer( configuration: ModelConfiguration( id: "Qwen/Qwen3.5-3B-Instruct-MLX-4bit" ) ) // 生成回复 let result = try await modelContainer.perform { context in let input = try await context.processor.prepare( input: .init(prompt: "你好，请介绍一下自己") ) let result = try MLXLMCommon.generate( input: input, parameters: GenerateParameters(temperature: 0.7), context: context ) { tokens in if tokens.count >= 256 { return .stop } return .more } return result.output } 性能实测（iPhone 16 Pro）： ...

2026 年，一个反直觉的趋势正在席卷 AI 行业：3B 级别的小模型正在成为部署量最大的模型类别。从手机端实时翻译到 IoT 设备的语音助手，从浏览器内运行的代码补全到企业内部的低成本 Agent——小模型正在 quietly 重建 AI 的基础设施层。 一、为什么是 3B？ 3B 参数级模型在 2026 年崛起并非偶然，它恰好卡在三个关键交叉点： 显存友好：INT4 量化后仅占 ~1.5GB，可在 4GB 显存的消费级 GPU 甚至手机 NPU 上运行 速度够快：在 RTX 4060 上可达 120+ tokens/s，在 iPhone 16 Pro 上可达 30+ tokens/s 能力够用：经过高质量数据训练的 3B 模型在常见任务上已达到 2024 年 30B 模型的水平 二、2026 主流 3B 级模型横评 模型 参数量 MMLU-Pro HumanEval+ 训练数据量 许可证 Qwen3.5-3B 3.2B 72.3% 81.5% 15T Apache 2.0 Gemma 3-4B 3.8B 70.8% 79.2% 14T Gemma License Phi-4-mini 3.3B 71.5% 83.1% 9.8T（合成为主） MIT Llama 4 Tiny 3.5B 69.4% 77.8% 12T Llama License SmolLM3-3B 3.0B 66.2% 74.5% 8T Apache 2.0 GLM-5-Edge 3.1B 68.7% 76.3% 10T Apache 2.0 核心发现 Qwen3.5-3B 综合最强：中英双语场景的最佳选择 Phi-4-mini 代码最强：微软的合成数据策略在代码领域效果显著 Gemma 3-4B 推理最稳：谷歌的 Responsible AI 训练使幻觉率最低 SmolLM3-3B 最轻量：纯 3B 以下，适合极致资源受限场景 三、实用场景分析 场景一：端侧代码补全 Phi-4-mini 在 VS Code 中作为本地 Copilot 替代方案表现优异。在 1000 行文件中进行函数级补全，平均延迟仅 180ms（RTX 4060），接受率 62.3%——虽不及 GPT-5.5 的 78%，但对于离线/隐私场景已足够实用。 ...