加速

引言 SGLang（Structured Generation Language）是由 UC Berkeley / LMSYS 团队开发的高性能 LLM 推理引擎。与 vLLM 专注通用吞吐量优化不同，SGLang 的核心差异化在于：结构化生成和 RadixAttention 两项关键技术。在需要 JSON/正则约束输出、多轮对话、复杂提示词模板的场景下，SGLang 的性能表现显著优于 vLLM 和 TensorRT-LLM。 核心技术解析 RadixAttention RadixAttention 是 SGLang 的核心创新，使用基数树（Radix Tree）管理 KV Cache 的自动复用： 传统 KV Cache（每请求独立）: 请求 A "系统提示 + 问题1" → KV Cache A（2048 tokens） 请求 B "系统提示 + 问题2" → KV Cache B（2048 tokens） → 同一系统提示被重复计算 RadixAttention（自动复用）: Radix Tree: ┌──────────────────────────┐ │ [系统提示共享前缀] │ ← 复用，不重复计算 │ ├── [问题1] → KV Cache │ │ └── [问题2] → KV Cache │ └──────────────────────────┘ → 系统提示只计算一次，后续请求直接复用 与前缀缓存（Prefix Caching）的区别： ...

1. 自回归解码的瓶颈 1.1 逐 token 生成的低效 LLM 自回归生成：每次前向传播只产生 1 个 token。对于 $N$ 个 token 的输出，需要 $N$ 次串行前向传播。 每次前向传播的计算量： $$\text{FLOPS}{\text{per step}} \approx 2 \times \text{Params}{\text{active}}$$ 但实际 GPU 利用率很低——单 token 推理是内存带宽受限的： $$\text{Compute intensity} = \frac{\text{FLOPS}}{\text{Bytes loaded}} = \frac{2N}{N \times \text{dtype_size}} = \frac{2}{\text{dtype_size}}$$ FP16 下计算强度仅为 1 FLOP/byte，远低于 GPU 的算力/带宽比（A100: 312 TFLOPS / 2TB/s = 156 FLOP/byte）。GPU 大部分时间在等待内存加载权重。 1.2 理想情况 如果能一次前向传播生成 $k$ 个 token，就能将权重复用 $k$ 次，计算强度提升 $k$ 倍。这就是推测解码的核心动机。 2. 推测解码原理 2.1 基本思想 推测解码（Speculative Decoding）使用两个模型： ...