PagedAttention

KV Cache 是大模型推理的核心瓶颈。在 72B 模型上，一个 4K 上下文的请求需要 8GB 的 KV Cache；在 128K 上下文时，KV Cache 膨胀到 256GB——比模型权重还大。2026 年，KV Cache 优化已成为推理引擎的"第二战场"。本文将系统性解析从 PagedAttention 到 MLA 的全链路优化技术。 一、KV Cache 基础 为什么需要 KV Cache？ Transformer 自回归解码时，每生成一个 token 需要关注之前所有 token 的 Key 和 Value。如果不缓存，每步都要重算所有历史 token 的 K/V，复杂度 O(n²)；缓存后，每步只需计算新 token 的 K/V，复杂度 O(n)。 KV Cache 大小计算 KV Cache 大小 = 2 × num_layers × seq_len × num_kv_heads × head_dim × dtype_size 以 Qwen3.5-72B 为例： 参数 值 num_layers 80 num_kv_heads (GQA) 8 head_dim 128 dtype FP16 (2 bytes) 单 token KV Cache = 2 × 80 × 8 × 128 × 2 = 327,680 bytes ≈ 320KB 4K 上下文 = 320KB × 4096 = 1.25GB 32K 上下文 = 320KB × 32768 = 10GB 128K 上下文 = 320KB × 131072 = 40GB 关键问题：128K 上下文下，KV Cache（40GB）已接近模型权重大小（72B FP16 = 144GB），成为显存主要瓶颈。 ...

vLLM 架构总览 vLLM 由 UC Berkeley 团队开发，核心创新是 PagedAttention——一种受操作系统虚拟内存启发的注意力机制。其架构层次： ┌─────────────────────────────────────────────┐ │ OpenAI Compatible API │ │ (Streaming / Function Calling) │ ├─────────────────────────────────────────────┤ │ Request Scheduler │ │ (Continuous Batching + Priority Queue) │ ├──────────────┬──────────────────────────────┤ │ PagedAttention│ ParallelWorker │ │ KV Cache Mgr │ (Tensor Pipeline Parallel)│ ├──────────────┴──────────────────────────────┤ │ GPU Workers (CUDA) │ │ FlashAttention / FlashInfer Backend │ └─────────────────────────────────────────────┘ PagedAttention 原理 核心问题 传统 LLM 推理中，KV Cache 按最大序列长度预分配连续显存。这导致： 内部碎片：实际序列 < 最大序列，浪费 60-80% 显存 外部碎片：频繁分配/释放产生碎片 无法共享：相同前缀的请求各自维护 KV Cache PagedAttention 方案 借鉴 OS 的分页机制，将 KV Cache 分割为固定大小的 block（通常每 block 存 16 个 token 的 KV）： ...