Edge

2026 年，端侧大模型已从实验室走向大规模落地。iPhone 16 Pro 搭载的 Neural Engine 算力达 38 TOPS，骁龙 8 Gen 4 的 Hexagon NPU 达 45 TOPS，树莓派 5 也具备了运行 3B 模型的能力。但端侧场景碎片化严重——手机、Edge 服务器、IoT 设备的算力跨度达 100 倍。本文将给出全场景的端侧模型选型与部署方案。 一、端侧硬件能力图谱 设备类型 代表设备 算力(TOPS) 内存 存储 功耗 旗舰手机 iPhone 16 Pro 38 8-12GB 256GB+ 3-5W 安卓旗舰 小米15 Ultra 45 12-16GB 512GB 3-6W 中端手机 Redmi Note 14 12 6-8GB 128GB 2-3W 笔电(M3) MacBook Air M3 18 8-16GB 256GB+ 5-8W Edge服务器 Jetson Orin Nano 40 8GB 128GB 7-15W 单板计算机 Raspberry Pi 5 4.5 8GB 64GB 3-5W IoT控制器 ESP32-S3 0.05 512KB 16MB 0.5W 二、模型选型矩阵 按设备类型选型 设备 推荐模型 参数量 量化 推理速度 场景 iPhone 16 Pro Qwen3.5-3B 3.2B INT4 32 tok/s 对话/翻译 安卓旗舰 Phi-4-mini 3.3B INT4 28 tok/s 代码补全/对话 中端手机 SmolLM3-1.7B 1.7B INT4 25 tok/s 简单问答 MacBook Air M3 Gemma3-4B 3.8B INT4 45 tok/s 文档摘要 Jetson Orin Qwen3.5-7B 7B INT4 35 tok/s 视觉理解 Raspberry Pi 5 SmolLM3-3B 3.0B INT3 8 tok/s 智能家居 ESP32-S3 TinyLlama-1.1B 1.1B INT2 2 tok/s 语音指令 三、手机端部署详解 3.1 iOS 部署（MLX 框架） import MLX import MLXLMCommon // 加载模型 let modelContainer = try await LLMModelFactory.shared.loadContainer( configuration: ModelConfiguration( id: "Qwen/Qwen3.5-3B-Instruct-MLX-4bit" ) ) // 生成回复 let result = try await modelContainer.perform { context in let input = try await context.processor.prepare( input: .init(prompt: "你好，请介绍一下自己") ) let result = try MLXLMCommon.generate( input: input, parameters: GenerateParameters(temperature: 0.7), context: context ) { tokens in if tokens.count >= 256 { return .stop } return .more } return result.output } 性能实测（iPhone 16 Pro）： ...