INT4

量化：让大模型跑得起的关键技术 大模型的推理成本是落地的最大障碍之一。一个70B参数的模型在FP16精度下需要约140GB显存，而INT4量化只需要约35GB——直接让单卡部署成为可能。 但量化不是免费的午餐。精度降低必然带来质量损失，问题是损失多少、哪种方案损失最小。我们在统一环境下对三种主流量化方案进行了系统对比。 三种方案简介 GPTQ：基于二阶Hessian信息的后训练量化方法。通过逐层补偿量化误差来保持模型质量。优势是不需要校准数据量太大，劣势是量化过程较慢。 AWQ（Activation-aware Weight Quantization）：通过分析激活值分布来识别"重要"权重，对重要权重保持高精度，非重要权重进行量化。核心洞察是并非所有权重对模型输出的贡献相同。 INT4（含NF4/FP4变体）：将权重压缩到4比特。NF4（NormalFloat 4）由QLoRA提出，针对正态分布的权重进行了优化。FP4则保留了浮点数的指数-尾数结构。 测试设置 硬件：单张A100 80GB 模型：Llama-3-70B、Qwen-2.5-72B、Mistral-Large 基准：FP16未量化版本 评估数据集：MMLU、HumanEval、GSM8K、C-Eval 测试场景：单序列推理和批量推理 核心结果 质量对比 方案 MMLU HumanEval GSM8K C-Eval 平均损失 FP16 82.1 74.4 88.3 85.7 0% AWQ-INT4 80.8 72.1 86.1 84.3 ~2.0% GPTQ-INT4 80.3 71.5 85.7 83.9 ~2.6% NF4 81.2 72.8 86.9 84.6 ~1.6% INT4-naive 76.5 66.2 80.1 79.3 ~7.8% NF4在质量保持上略优于AWQ和GPTQ，但差异在统计意义上并不显著（除naive INT4外）。三种成熟方案的损失都控制在3%以内，对于大多数应用场景完全可接受。 速度对比 方案 单序列(tokens/s) 批量32(tokens/s) 首Token延迟(ms) FP16 45.2 820 120 AWQ-INT4 112.5 2100 65 GPTQ-INT4 98.3 1850 78 NF4 105.7 1950 70 AWQ在推理速度上领先，这得益于其更优化的内核实现（vLLM的AWQ后端经过深度优化）。GPTQ由于需要额外的反量化步骤，速度略慢。 ...

量化：让大模型跑得起的关键技术 大模型的推理成本是落地的最大障碍之一。一个70B参数的模型在FP16精度下需要约140GB显存，而INT4量化只需要约35GB——直接让单卡部署成为可能。 但量化不是免费的午餐。精度降低必然带来质量损失，问题是损失多少、哪种方案损失最小。我们在统一环境下对三种主流量化方案进行了系统对比。 三种方案简介 GPTQ：基于二阶Hessian信息的后训练量化方法。通过逐层补偿量化误差来保持模型质量。优势是不需要校准数据量太大，劣势是量化过程较慢。 AWQ（Activation-aware Weight Quantization）：通过分析激活值分布来识别"重要"权重，对重要权重保持高精度，非重要权重进行量化。核心洞察是并非所有权重对模型输出的贡献相同。 INT4（含NF4/FP4变体）：将权重压缩到4比特。NF4（NormalFloat 4）由QLoRA提出，针对正态分布的权重进行了优化。FP4则保留了浮点数的指数-尾数结构。 测试设置 硬件：单张A100 80GB 模型：Llama-3-70B、Qwen-2.5-72B、Mistral-Large 基准：FP16未量化版本 评估数据集：MMLU、HumanEval、GSM8K、C-Eval 测试场景：单序列推理和批量推理 核心结果 质量对比 方案 MMLU HumanEval GSM8K C-Eval 平均损失 FP16 82.1 74.4 88.3 85.7 0% AWQ-INT4 80.8 72.1 86.1 84.3 ~2.0% GPTQ-INT4 80.3 71.5 85.7 83.9 ~2.6% NF4 81.2 72.8 86.9 84.6 ~1.6% INT4-naive 76.5 66.2 80.1 79.3 ~7.8% NF4在质量保持上略优于AWQ和GPTQ，但差异在统计意义上并不显著（除naive INT4外）。三种成熟方案的损失都控制在3%以内，对于大多数应用场景完全可接受。 速度对比 方案 单序列(tokens/s) 批量32(tokens/s) 首Token延迟(ms) FP16 45.2 820 120 AWQ-INT4 112.5 2100 65 GPTQ-INT4 98.3 1850 78 NF4 105.7 1950 70 AWQ在推理速度上领先，这得益于其更优化的内核实现（vLLM的AWQ后端经过深度优化）。GPTQ由于需要额外的反量化步骤，速度略慢。 ...

引言 模型量化是LLM部署中最重要的优化手段之一。通过降低模型参数的精度，可以大幅减少显存占用和提升推理速度。但量化也带来了精度损失的代价。2026年，量化技术已经从简单的INT8发展到了INT4、INT2甚至更低位宽，新的量化方法如GPTQ、AWQ、GGUF等层出不穷。本文将通过实测数据揭示量化对性能的真实影响。 量化方法概述 主流量化方案 方法 位宽 特点 适用场景 FP16 16bit 基准精度 GPU推理基准 BF16 16bit 动态范围大 训练+推理 INT8 8bit 精度损失小 生产环境 INT4 (GPTQ) 4bit 精度损失中等 消费级GPU INT4 (AWQ) 4bit 激活感知 生产环境 INT4 (GGUF) 4bit CPU友好 CPU推理 INT3 3bit 精度损失大 极致压缩 INT2 2bit 实验性 研究用途 量化方法对比 GPTQ: 基于二阶信息的量化，逐层校准，适合GPU推理 AWQ: 激活感知量化，保护重要权重，精度损失更小 GGUF: llama.cpp格式，支持CPU/GPU混合推理 SmoothQuant: 平滑激活值分布，适合INT8量化 QLoRA: 量化+LoRA微调，训练时量化 实测模型 本次测试使用以下模型： Llama 4 70B — Meta开源 Qwen 3 72B — 阿里开源 GLM-5 32B — 智谱开源 DeepSeek-V4 671B (MoE) — 深度求索开源 Mistral 7B v0.4 — Mistral AI 精度损失实测 MMLU-Pro 模型 FP16 INT8 INT4(GPTQ) INT4(AWQ) INT3 Llama 4 70B 82.1% 81.3%(-0.8) 78.5%(-3.6) 79.8%(-2.3) 72.3%(-9.8) Qwen 3 72B 84.5% 83.7%(-0.8) 81.2%(-3.3) 82.1%(-2.4) 75.6%(-8.9) GLM-5 32B 86.2% 85.3%(-0.9) 82.5%(-3.7) 83.8%(-2.4) 76.8%(-9.4) DeepSeek-V4 85.8% 85.1%(-0.7) 82.3%(-3.5) 83.5%(-2.3) 76.2%(-9.6) Mistral 7B 65.2% 64.3%(-0.9) 61.5%(-3.7) 62.8%(-2.4) 55.3%(-9.9) 关键发现： ...

量化：用更少的比特做更多的事 LLM的参数量从7B到671B不断增长，但GPU显存的增长速度远跟不上。量化是缓解这一矛盾最直接的技术——用更少的比特表示模型参数和激活值，在不修改模型架构的前提下减少显存占用和加速推理。 2026年，量化技术已经形成了从INT4到FP8的完整谱系，每种精度都有其适用场景和工程权衡。 量化的基本原理 对称量化 将浮点数映射到整数的固定范围。以INT8为例： x_int8 = round(x_fp / scale) scale = max(|x_fp|) / 127 反量化：x_fp ≈ x_int8 × scale 非对称量化 引入零点偏移，处理分布不对称的情况： x_int8 = round((x_fp - zero_point) / scale) scale = (max(x) - min(x)) / 255 zero_point = min(x) 量化粒度 逐张量（per-tensor）：整个张量共用一个scale，最简单但精度损失大 逐通道（per-channel）：每个输出通道一个scale，精度好但额外参数多 逐组（per-group）：将通道分组，组内共用scale，是精度和效率的折中 def per_group_quantize(x, group_size=128): """分组量化""" original_shape = x.shape # 重排为 [out_features // group_size, group_size, in_features] x_reshaped = x.view(-1, group_size, original_shape[-1]) # 每组计算独立的scale scales = x_reshaped.abs().max(dim=1, keepdim=True).values / 127 # 量化 x_int8 = (x_reshaped / scales).round().clamp(-128, 127).to(torch.int8) return x_int8, scales def per_group_dequantize(x_int8, scales, original_shape): """分组反量化""" x_fp = x_int8.float() * scales return x_reshaped.view(original_shape) INT8量化 适用场景 INT8是最成熟的量化方案，几乎所有推理框架都原生支持。适用于： ...

引言 大模型的量化（Quantization）是将高精度浮点模型转换为低精度表示的技术。2026年，INT4量化已经从"实验性技术"成为"生产级方案"，让70B参数模型在消费级GPU上运行成为可能。 量化技术分类 按训练方式分类 量化方法 ├── 训练后量化（PTQ） │ ├── PTQ-W（权重量化） │ └── PTQ-A（激活量化） ├── 校准量化（Calibration-based） │ ├── LLM.int8() │ └── SmoothQuant ├── 感知量化（Aware Quantization） │ ├── AWQ（Activation-Aware） │ ├── GPTQ（Greedy Post-Training） │ └── QoQ（Quantization-out-of-Context） └── 量化感知训练（QAT） ├── QAT-F（全量化训练） └── LoRA-QAT（低秩量化） 按量化粒度分类 粒度 说明 精度损失 加速效果 逐层 每层一个缩放因子 低 中 逐通道 每个通道一个缩放因子 低 高 逐组 每组（如128个）一个缩放因子 中 最高 逐元素 每个权重一个缩放因子 高 有限 主流量化方案深度对比 AWQ（Activation-Aware Weight Quantization） 核心思想： 保护对激活值敏感的权重，对这些权重进行更精细的量化。 原理： ...

引言 2026年，量化技术已经成为大模型部署的标配。随着更多量化方法和工具的成熟，开发者面临着INT4、INT8、AWQ、GPTQ、FP8等多种选择。不同量化方法在质量损失、压缩比、推理速度和硬件兼容性上各有优劣。本文将通过大量实测数据，全面对比2026年主流量化技术，帮助开发者做出最优选择。 量化技术概述 量化基础 量化是将模型权重和激活值从高精度（FP16/BF16）转换为低精度（INT8/INT4等）的过程。 核心指标： 指标 说明 影响 压缩比 量化后大小/原始大小 显存占用、存储成本 质量损失 量化后性能下降 准确性、可用性 推理加速 量化后速度提升 用户体验、成本 硬件要求 需要的硬件支持 部署灵活性 2026年主流量化方法 方法 精度 压缩比 质量损失 硬件要求 FP16/BF16 16-bit 1× 0% 所有GPU FP8 (E4M3) 8-bit浮点 2× <0.5% Hopper/Ada/A100-80G INT8 (W8A8) 8-bit整数 2× <1% 所有GPU INT4 (W4A16) 4-bit权重 4× 2-3% 所有GPU AWQ 4-bit 4-bit激活感知 4× 1-2% 所有GPU GPTQ 4-bit 4-bit压缩 4× 2-3% 所有GPU 2-bit量化 2-bit 8× 8-15% 实验性 实测对比 测试环境 硬件1：8×NVIDIA A100 80GB 硬件2：4×NVIDIA H100 硬件3：1×NVIDIA RTX 4090 模型：Llama 4 70B、Qwen3.5 72B、DeepSeek V4 基准：MMLU-Pro、HumanEval+、C-Eval、TruthfulQA FP8量化实测 方法：使用NVIDIA Transformer Engine进行FP8量化 ...

大模型的训练成本固然惊人，但2026年行业共识是：推理成本才是决定AI商业成败的关键。每Token推理成本直接决定了AI应用的经济模型——当GPT-5的推理成本降低10倍，它能打开的市场空间会增加100倍。本文将深度解析2026年最主流的推理加速技术。 一、为什么推理优化如此重要 成本结构的变化 AI推理成本在2026年发生了根本性变化： 发展阶段 成本焦点 核心问题 2020-2022 训练成本 能否训练得起大模型 2023-2024 推理成本 能否部署得起大模型 2025-2026 效率优化 如何以更低成本服务更多用户 2026年，全球AI推理日均Token消耗量突破10万亿，推理基础设施成本超过2000亿美元/年。每降低1%的推理成本，意味着每年节省20亿美元。 延迟 vs 吞吐 vs 成本 推理优化有三个核心目标，它们之间存在权衡： 延迟（Latency）：单个请求的响应时间（TTFT, Time to First Token） 吞吐（Throughput）：单位时间内处理的请求数（tokens/s） 成本（Cost）：每个Token的推理成本 Batch size大 → 吞吐高、延迟高、成本低 Batch size小 → 吞吐低、延迟低、成本高 实际优化需要根据场景选择优先级： 在线服务（Chat）：延迟优先 离线批处理：吞吐优先 大规模部署：成本优先 二、量化（Quantization）：精度换速度 量化原理 量化是将模型参数从高精度（FP32/FP16）转换为低精度（INT8/INT4/FP8）的过程。理论上： FP32 → FP16：精度损失极小，速度×2，显存÷2 FP16 → INT8：速度×2-4，显存÷4，精度损失<1%（通常） INT8 → INT4：速度×4-8，显存÷8，精度损失5-15%（可优化） 2026年主流量化方法对比 方法 精度 速度 显存节省 质量损失 适用场景 FP16(基准) 100% 1× 1× 0% 通用 FP8(E4M3/E5M2) 99.5% 1.3× 1.5× <0.5% Hopper/Blackwell INT8(对称) 98-99% 1.8× 2× 1-2% 通用 INT8(非对称) 98-99% 1.6× 2× 1-2% 激活分布不均 INT4(GPTQ) 95-97% 3.5× 4× 3-5% 显存受限 INT4(AWQ) 96-98% 3.2× 4× 2-4% 显存受限 INT4(llama.cpp GGUF) 94-97% 4× 4× 3-6% 本地部署 NF4(BitsAndBytes) 95-97% 2.5× 4× 3-5% QLoRA微调 量化方法深度解析 1. Post-Training Quantization (PTQ) 训练后量化是最简单的方式——先训练好模型，再量化。2026年主流PTQ方法： ...

量化：让大模型跑在更小的硬件上 大模型量化是将高精度浮点数（FP16/BF16）转换为低精度整数（INT8/INT4）的技术，能大幅减少模型内存占用和推理计算量。2026 年，INT4 量化已成为大模型部署的标配。本文深入解析量化背后的数学原理。 一、量化的数学基础 1.1 均匀量化 量化的核心是将浮点数映射到有限离散值： $$q = \text{round}\left(\frac{x}{s}\right) + z$$ 其中： $x$：原始浮点值 $q$：量化后的整数值 $s$：缩放因子（scale） $z$：零点（zero point） 反量化（恢复浮点值）： $$\hat{x} = s \cdot (q - z)$$ 1.2 对称量化 vs 非对称量化 对称量化（Symmetric）：$z = 0$，零点固定为 0 $$s = \frac{\max(|x|)}{2^{b-1} - 1}$$ 适用于权重（均值为 0 的正态分布）。 非对称量化（Asymmetric）：$z \neq 0$ $$s = \frac{x_{max} - x_{min}}{2^b - 1}$$ $$z = \text{round}\left(-\frac{x_{min}}{s}\right)$$ 适用于激活值（可能偏移，如 ReLU 后全为正）。 对称量化 (INT8): 浮点范围 [-127, 127] → 整数 [-127, 127] x = 0 → q = 0 s = max(|x|) / 127 非对称量化 (INT8): 浮点范围 [xmin, xmax] → 整数 [0, 255] x = 0 → q = z (可能不为 0) s = (xmax - xmin) / 255 1.3 量化误差 量化引入的误差： ...

2026 年，模型量化已从"可选优化"变为"必备技能"。随着开源模型参数量从 7B 涨到 671B，不量化的模型在大多数硬件上根本无法运行。但量化方案众多——INT4、INT8、AWQ、GPTQ、GGUF、SmoothQuant——每种方案在质量损失、推理速度和部署便利性上都有不同的 trade-off。本文将通过系统性实测，给出 2026 年最全面的量化技术对比。 一、量化技术概览 主要量化方案 方案 类型 原理 适用场景 INT8 (W8A8) 训练后量化 权重和激活均为 INT8 服务器通用部署 INT4 (W4A16) 训练后量化 权重 INT4，激活 FP16 端侧/消费级GPU GPTQ 训练后量化 基于二阶信息的逐层量化 GPU 推理 AWQ 训练后量化 基于激活感知的权重量化 GPU/Edge GGUF 格式标准 llama.cpp 生态量化格式 CPU/混合推理 SmoothQuant 训练后量化 激活平滑后 INT8 量化 高吞吐服务器 QAT 量化感知训练 训练中模拟量化 追求极致质量 INT2/INT3 极限量化 超低位量化 IoT/微控制器 量化命名规范（GGUF） 名称 权重位宽 说明 Q8_0 8-bit 质量最佳 Q6_K 6-bit 质量优秀 Q5_K_M 5-bit 质量良好 Q4_K_M 4-bit 性价比最优 Q3_K_S 3-bit 极限压缩 Q2_K 2-bit 最大压缩 二、评测设计 测试模型 Qwen3.5-72B（稠密 72B） DeepSeek V4-Lite（236B MoE，激活 21B） Llama 4 Scout（109B MoE，激活 17B） Mistral Large 3（123B 稠密） 测试基准 MMLU-Pro（学术综合） HumanEval+（代码生成） MATH-500（数学推理） 长文本摘要（10K/50K/100K token） 中文问答（C-Eval Pro） 硬件环境 GPU：4×A100 80GB / 单×RTX 4090 24GB CPU：AMD EPYC 9654 + 512GB DDR5 推理引擎：vLLM 0.8 / llama.cpp b3500 三、Qwen3.5-72B 量化实测 质量对比 量化方案 模型大小 MMLU-Pro HumanEval+ MATH-500 C-Eval Pro 平均损失 FP16（基准） 144GB 89.5 93.8 80.3 92.8 0% INT8 (W8A8) 72GB 89.2 93.5 80.0 92.5 0.3% AWQ-INT4 36GB 88.7 93.1 79.5 92.1 0.8% GPTQ-INT4 36GB 88.3 92.8 78.8 91.7 1.2% GGUF Q5_K_M 50GB 88.5 93.0 79.2 92.0 0.9% GGUF Q4_K_M 40GB 87.9 92.5 78.3 91.3 1.6% GGUF Q3_K_S 30GB 86.1 90.8 76.5 89.8 3.4% GGUF Q2_K 20GB 82.3 87.2 72.1 85.5 7.5% INT3 (GPTQ) 27GB 85.5 89.7 74.8 88.2 4.1% 关键发现： ...

1. 量化的动机与基础 大模型的推理成本主要由显存和计算量决定。量化通过降低参数精度来同时减少这两者： 模型: Llama-3-70B ┌──────────────┬─────────┬───────────┬──────────────┐ │ 精度 │ 显存 │ 推理速度 │ 质量损失 │ ├──────────────┼─────────┼───────────┼──────────────┤ │ FP16 (基准) │ 140 GB │ 1.0x │ 0% │ │ INT8 │ 70 GB │ 1.8x │ <0.5% │ │ INT4 │ 35 GB │ 2.5x │ 1-2% │ │ INT2 │ 18 GB │ 3.0x │ 5-15% │ └──────────────┴─────────┴───────────┴──────────────┘ 1.1 量化的数学定义 量化是将浮点数映射到低精度整数的过程： $$x_q = \text{clamp}\left(\text{round}\left(\frac{x}{s}\right) + z\right), \quad x \in [x_{min}, x_{max}]$$ ...