模型量化

边缘AI的必要性 随着AI应用深入日常生活，将推理能力从云端下沉到边缘设备成为刚需。边缘AI具有三大核心优势：低延迟、隐私保护、离线可用。但在手机、IoT设备上运行数十亿参数的大模型是一项极具挑战性的工程任务。 硬件资源约束分析 手机端资源 2026年主流旗舰手机的AI相关硬件参数： 设备 芯片 NPU算力(TOPS) 可用内存(GB) iPhone 16 Pro A18 Pro 35 8 Galaxy S25 SD 8 Gen4 45 12 Pixel 9 Tense G4 40 12 在8GB内存的手机上运行7B模型（INT4量化后约3.5GB），留给系统和应用的内存仅约4GB，紧张但可行。 边缘服务器资源 以树莓派5（8GB RAM）为例： CPU：4核Cortex-A76 @ 2.4GHz 无NPU，纯CPU推理 可运行3B模型（INT4量化后约1.5GB） 模型压缩技术栈 量化：最有效的压缩手段 移动端部署首选INT4量化。以Qwen3-1.5B为例： FP16模型大小: 3.0GB INT8模型大小: 1.5GB INT4模型大小: 0.9GB ← 手机可运行 GGUF格式是llama.cpp生态的标准量化格式： # 使用llama.cpp量化模型 # Q4_K_M：4bit量化，平衡精度和大小 ./quantize model.gguf model-q4_k_m.gguf Q4_K_M 不同量化级别的精度损失： Q8_0：<0.5%精度损失，但文件大 Q4_K_M：1-2%精度损失，推荐移动端使用 Q3_K_S：3-5%精度损失，极限压缩场景 蒸馏：减小模型尺寸 知识蒸馏将大模型的能力迁移到小模型： class DistillationTrainer: def __init__(self, teacher, student, temperature=2.0): self.teacher = teacher # 冻结的大模型 self.student = student # 待训练的小模型 self.temperature = temperature def compute_loss(self, inputs): with torch.no_grad(): teacher_logits = self.teacher(inputs).logits / self.temperature student_logits = self.student(inputs).logits / self.temperature # KL散度损失 kl_loss = F.kl_div( F.log_softmax(student_logits, dim=-1), F.softmax(teacher_logits, dim=-1), reduction="batchmean" ) * (self.temperature ** 2) # 标准交叉熵损失 ce_loss = F.cross_entropy(student_logits, inputs["labels"]) return 0.7 * kl_loss + 0.3 * ce_loss 剪枝：移除冗余参数 结构化剪枝移除整个注意力头或FFN中间维度，不破坏模型结构： ...

引言 2026年，端侧大模型部署迎来了真正的爆发年。随着手机芯片AI算力的飞跃、量化技术的成熟和小模型能力的提升，在设备本地运行大模型不再是实验性的尝试，而是成为了可落地的生产方案。本文将从手机、边缘设备和IoT三个场景出发，全面分析端侧大模型的选型、部署和优化。 端侧部署的驱动因素 技术成熟度 2026年端侧部署成熟的几个关键因素： 1. 芯片算力提升 设备类型 代表芯片 AI算力(TOPS) 支持精度 旗舰手机 骁龙8 Gen 4 73 TOPS INT4/INT8/FP16 旗舰手机 A18 Pro 35 TOPS(NPU) INT4/INT8/FP16 Edge设备 Jetson AGX Orin 275 TOPS INT4/INT8/FP16 Edge设备 RK3588 6 TOPS INT4/INT8 IoT设备 ESP32-S3 AI 0.5 TOPS INT4/INT8 2. 小模型能力飞跃 3B级模型在2026年已经达到了2024年70B模型的部分能力： Qwen3.5 3B MMLU-Pro: 62.3%（相当于2024年Llama 3 70B水平） Gemma 3 4B MMLU-Pro: 52.3% 3. 量化技术成熟 INT4量化在2026年已经可以将质量损失控制在2-3%以内，同时将模型大小减少75%。 手机端部署 模型选型 Android端推荐： 使用场景 推荐模型 大小(INT4) 速度(骁龙8G4) 质量 轻量对话 Gemma 3 1B 0.6GB 65 tok/s ★★★ 通用助手 Qwen3.5 3B 1.8GB 42 tok/s ★★★★ 高质量助手 Qwen3.5 7B 4.3GB 12 tok/s ★★★★★ 多模态 Gemma 3 4B 2.5GB 28 tok/s ★★★★ iOS端推荐： ...

2026 年，端侧大模型已从实验室走向大规模落地。iPhone 16 Pro 搭载的 Neural Engine 算力达 38 TOPS，骁龙 8 Gen 4 的 Hexagon NPU 达 45 TOPS，树莓派 5 也具备了运行 3B 模型的能力。但端侧场景碎片化严重——手机、Edge 服务器、IoT 设备的算力跨度达 100 倍。本文将给出全场景的端侧模型选型与部署方案。 一、端侧硬件能力图谱 设备类型 代表设备 算力(TOPS) 内存 存储 功耗 旗舰手机 iPhone 16 Pro 38 8-12GB 256GB+ 3-5W 安卓旗舰 小米15 Ultra 45 12-16GB 512GB 3-6W 中端手机 Redmi Note 14 12 6-8GB 128GB 2-3W 笔电(M3) MacBook Air M3 18 8-16GB 256GB+ 5-8W Edge服务器 Jetson Orin Nano 40 8GB 128GB 7-15W 单板计算机 Raspberry Pi 5 4.5 8GB 64GB 3-5W IoT控制器 ESP32-S3 0.05 512KB 16MB 0.5W 二、模型选型矩阵 按设备类型选型 设备 推荐模型 参数量 量化 推理速度 场景 iPhone 16 Pro Qwen3.5-3B 3.2B INT4 32 tok/s 对话/翻译 安卓旗舰 Phi-4-mini 3.3B INT4 28 tok/s 代码补全/对话 中端手机 SmolLM3-1.7B 1.7B INT4 25 tok/s 简单问答 MacBook Air M3 Gemma3-4B 3.8B INT4 45 tok/s 文档摘要 Jetson Orin Qwen3.5-7B 7B INT4 35 tok/s 视觉理解 Raspberry Pi 5 SmolLM3-3B 3.0B INT3 8 tok/s 智能家居 ESP32-S3 TinyLlama-1.1B 1.1B INT2 2 tok/s 语音指令 三、手机端部署详解 3.1 iOS 部署（MLX 框架） import MLX import MLXLMCommon // 加载模型 let modelContainer = try await LLMModelFactory.shared.loadContainer( configuration: ModelConfiguration( id: "Qwen/Qwen3.5-3B-Instruct-MLX-4bit" ) ) // 生成回复 let result = try await modelContainer.perform { context in let input = try await context.processor.prepare( input: .init(prompt: "你好，请介绍一下自己") ) let result = try MLXLMCommon.generate( input: input, parameters: GenerateParameters(temperature: 0.7), context: context ) { tokens in if tokens.count >= 256 { return .stop } return .more } return result.output } 性能实测（iPhone 16 Pro）： ...

模型量化是大模型部署最核心的优化技术之一。通过降低模型参数的数值精度，量化可以大幅减少模型体积、降低内存带宽需求、提升推理速度。2026年，随着大模型参数量持续增长和端侧部署需求加剧，量化技术的重要性愈发突出。本文从原理到实践，全面解析主流量化技术。 量化的数学基础 量化的本质是将连续的浮点数值映射到有限的离散值集合。给定浮点值x和量化位宽b，量化过程可以表示为： x_q = clip(round(x / s) + z, -2^(b-1), 2^(b-1)-1) 其中s是缩放因子，z是零点偏移。反量化过程为：x ≈ s · (x_q - z)。 对称量化 vs 非对称量化 对称量化将零点固定为0，量化范围对称分布。适用于权重等分布近似对称的张量。公式简化为x_q = clip(round(x / s), -2^(b-1), 2^(b-1)-1)。 非对称量化允许零点偏移，可以更精确地表示非对称分布的张量（如ReLU后的激活值，全部为非负数）。但非对称量化的计算略复杂，需要处理零点偏移。 实践中，权重通常使用对称量化（分布近似对称且计算更高效），激活值可以使用非对称量化以获得更好精度。 逐张量量化 vs 逐通道量化 逐张量量化为整个张量使用统一的缩放因子，实现简单但精度损失较大——不同通道的数值范围可能差异显著。 逐通道量化为每个输出通道使用独立的缩放因子，精度更高但需要存储更多缩放因子。对于权重量化，逐通道量化已成为标准做法，因为额外存储开销很小但精度提升显著。 主流量化方法 PTQ：训练后量化 训练后量化（Post-Training Quantization）在模型训练完成后进行，不需要重新训练，部署最便捷。 RTN（Round-to-Nearest） 最简单的量化方法——直接将浮点权重舍入到最近的量化级别。RTN不需要校准数据，速度最快，但在低位宽（INT4及以下）下精度损失严重。 GPTQ GPTQ基于二阶信息（Hessian矩阵）进行逐层量化优化。其核心思想是：在量化一个权重时，考虑量化误差对后续层输出的影响，通过调整未量化的权重来补偿量化误差。 GPTQ的量化流程： 使用少量校准数据（约128个样本）计算每层的Hessian矩阵 逐列量化权重，每量化一列就调整剩余列以补偿误差 量化顺序基于Hessian对角元素排序（敏感度高的最后量化） GPTQ在INT4量化中表现出色，Llama 70B的INT4 GPTQ量化在标准基准上性能损失不到1%。 AWQ（Activation-Aware Weight Quantization） AWQ的核心观察是：并非所有权重同等重要，与大幅值激活值对应的权重对量化误差更敏感。AWQ通过以下步骤实现激活感知量化： 使用校准数据分析激活值分布 识别"重要"权重通道（对应大幅值激活的通道） 对重要通道进行缩放保护，使其在量化后保持较高精度 相应缩放非重要通道以保持整体数值平衡 AWQ的优势是不需要修改量化算法本身，只是通过预处理调整权重分布。这使得AWQ可以与任何后端量化内核兼容。 SmoothQuant SmoothQuant针对激活值量化中的异常值问题。大模型激活值中存在少量极端大的异常值，导致激活量化困难。SmoothQuant通过将激活值的平滑因子"迁移"到权重上——将激活值除以一个平滑因子使分布更均匀，同时将权重乘以同样的因子保持数学等价。 SmoothQuant使得权重和激活值都可以量化到INT8而几乎无精度损失，是W8A8量化的首选方法。 QAT：量化感知训练 量化感知训练（Quantization-Aware Training）在训练过程中模拟量化效果，让模型适应量化带来的精度损失。QAT的精度通常优于PTQ，但需要完整的训练流程。 QAT的关键技术： 直通估计器（STE）：量化操作的梯度为零（round函数不可导），STE通过直接传递梯度绕过这一问题——前向传播使用量化值，反向传播使用浮点梯度。 学习型量化参数：将缩放因子作为可学习参数参与训练，让模型自动找到最优的量化范围。 渐进式量化：从高精度（INT8）开始训练，逐步降低到目标精度（INT4），给模型适应时间。 ...