GQA

注意力机制：大模型的认知引擎 注意力机制是大语言模型的核心组件，决定了模型如何"关注"输入信息。经过多年发展，注意力机制已从最初的 Self-Attention 衍生出多种变体，每种都针对特定瓶颈进行了优化。本文将从数学原理到工程实现，全面解析 2026 年主流的注意力机制。 一、Self-Attention（自注意力） 1.1 数学定义 Self-Attention 是 Transformer 的基础操作。给定输入序列 $X \in \mathbb{R}^{n \times d}$，通过三个投影矩阵生成 Query、Key、Value： $$Q = X W_Q, \quad K = X W_K, \quad V = X W_V$$ 注意力输出为： $$\text{Attn}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中缩放因子 $\sqrt{d_k}$ 防止内积过大导致 softmax 饱和。 1.2 多头注意力（Multi-Head Attention） 多头机制让模型在不同子空间中关注不同模式： $$\text{MHA}(X) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W_O$$ $$\text{head}_i = \text{Attention}(XW_Q^i, XW_K^i, XW_V^i)$$ 每个头的维度 $d_k = d_{model} / h$。例如 Llama 3-70B 中，$d_{model} = 8192$, $h = 64$, $d_k = 128$。 ...

KV Cache 是大模型推理的核心瓶颈。在 72B 模型上，一个 4K 上下文的请求需要 8GB 的 KV Cache；在 128K 上下文时，KV Cache 膨胀到 256GB——比模型权重还大。2026 年，KV Cache 优化已成为推理引擎的"第二战场"。本文将系统性解析从 PagedAttention 到 MLA 的全链路优化技术。 一、KV Cache 基础 为什么需要 KV Cache？ Transformer 自回归解码时，每生成一个 token 需要关注之前所有 token 的 Key 和 Value。如果不缓存，每步都要重算所有历史 token 的 K/V，复杂度 O(n²)；缓存后，每步只需计算新 token 的 K/V，复杂度 O(n)。 KV Cache 大小计算 KV Cache 大小 = 2 × num_layers × seq_len × num_kv_heads × head_dim × dtype_size 以 Qwen3.5-72B 为例： 参数 值 num_layers 80 num_kv_heads (GQA) 8 head_dim 128 dtype FP16 (2 bytes) 单 token KV Cache = 2 × 80 × 8 × 128 × 2 = 327,680 bytes ≈ 320KB 4K 上下文 = 320KB × 4096 = 1.25GB 32K 上下文 = 320KB × 32768 = 10GB 128K 上下文 = 320KB × 131072 = 40GB 关键问题：128K 上下文下，KV Cache（40GB）已接近模型权重大小（72B FP16 = 144GB），成为显存主要瓶颈。 ...