vLLM 部署深度指南：高吞吐 LLM 推理引擎
vLLM 架构总览 vLLM 由 UC Berkeley 团队开发，核心创新是 PagedAttention——一种受操作系统虚拟内存启发的注意力机制。其架构层次： ┌─────────────────────────────────────────────┐ │ OpenAI Compatible API │ │ (Streaming / Function Calling) │ ├─────────────────────────────────────────────┤ │ Request Scheduler │ │ (Continuous Batching + Priority Queue) │ ├──────────────┬──────────────────────────────┤ │ PagedAttention│ ParallelWorker │ │ KV Cache Mgr │ (Tensor Pipeline Parallel)│ ├──────────────┴──────────────────────────────┤ │ GPU Workers (CUDA) │ │ FlashAttention / FlashInfer Backend │ └─────────────────────────────────────────────┘ PagedAttention 原理 核心问题 传统 LLM 推理中，KV Cache 按最大序列长度预分配连续显存。这导致： 内部碎片：实际序列 < 最大序列，浪费 60-80% 显存 外部碎片：频繁分配/释放产生碎片 无法共享：相同前缀的请求各自维护 KV Cache PagedAttention 方案 借鉴 OS 的分页机制，将 KV Cache 分割为固定大小的 block（通常每 block 存 16 个 token 的 KV）： ...