KV Cache 原理与优化：LLM 推理加速核心
1. KV Cache 基本原理 1.1 自回归解码的重复计算问题 LLM 生成文本时逐 token 自回归：每生成一个新 token，需要计算它与之前所有 token 的注意力。 无 Cache 时：生成第 $t$ 个 token，需要重新计算前 $t-1$ 个 token 的 K 和 V。生成 $n$ 个 token 的总计算量为 $O(n^2 \cdot d)$。 有 Cache 时：之前 token 的 K、V 缓存复用，每步只需计算新 token 的 Q、K、V，总计算量降为 $O(n \cdot d)$。 1.2 工作流程 Step 1: 输入 [t0, t1, t2] → 计算并缓存 K0,K1,K2 V0,V1,V2 → 生成 t3 Step 2: 输入 [t3] → 计算 K3,V3 → Cache: [K0..K3, V0..V3] → 生成 t4 Step 3: 输入 [t4] → 计算 K4,V4 → Cache: [K0..K4, V0..V4] → 生成 t5 ... 每步只需对新 token 做 $Q_{new} \cdot K_{cache}^T$，复杂度 $O(n \cdot d)$ 而非 $O(n^2 \cdot d)$。 ...