SGLang

引言 SGLang（Structured Generation Language）是由 UC Berkeley / LMSYS 团队开发的高性能 LLM 推理引擎。与 vLLM 专注通用吞吐量优化不同，SGLang 的核心差异化在于：结构化生成和 RadixAttention 两项关键技术。在需要 JSON/正则约束输出、多轮对话、复杂提示词模板的场景下，SGLang 的性能表现显著优于 vLLM 和 TensorRT-LLM。 核心技术解析 RadixAttention RadixAttention 是 SGLang 的核心创新，使用基数树（Radix Tree）管理 KV Cache 的自动复用： 传统 KV Cache（每请求独立）: 请求 A "系统提示 + 问题1" → KV Cache A（2048 tokens） 请求 B "系统提示 + 问题2" → KV Cache B（2048 tokens） → 同一系统提示被重复计算 RadixAttention（自动复用）: Radix Tree: ┌──────────────────────────┐ │ [系统提示共享前缀] │ ← 复用，不重复计算 │ ├── [问题1] → KV Cache │ │ └── [问题2] → KV Cache │ └──────────────────────────┘ → 系统提示只计算一次，后续请求直接复用 与前缀缓存（Prefix Caching）的区别： ...

背景：为什么需要新的推理引擎 vLLM 以 PagedAttention 革新了 KV Cache 管理，但在实际生产中仍存在痛点： 前缀缓存粒度粗：vLLM 的 Prefix Cache 是 block 级别，命中率受限于前缀完全匹配 多轮对话效率低：每轮对话的 KV Cache 无法跨请求高效复用 缺乏结构化生成：JSON/Regex 约束生成需要额外引擎（如 Outlines） SGLang（Structured Generation Language）由 LMSYS 团队开发，从设计之初就针对这些问题。 SGLang 架构 核心组件 ┌──────────────────────────────────────────────┐ │ SGLang Frontend (Python) │ │ @function 装饰器 / sgl.gen() DSL │ ├──────────────────────────────────────────────┤ │ SGLang Runtime (Server) │ │ RadixAttention + Cache Manager │ │ + Constrained Decoding (Regex/JSON) │ ├───────────────┬──────────────────────────────┤ │ Scheduler │ Model Worker │ │ (Batching) │ (Tensor Parallel) │ ├───────────────┴──────────────────────────────┤ │ GPU Workers (CUDA) │ └──────────────────────────────────────────────┘ RadixAttention 原理 RadixAttention 是 SGLang 的核心创新。与 vLLM 的 PagedAttention 相比，关键区别在于 KV Cache 的组织方式： ...

SGLang 是什么 SGLang（Structured Generation Language）是由 LMSYS Org 开发的高性能 LLM 推理引擎，核心创新是 RadixAttention——用基数树缓存 KV Cache，在多轮对话和复杂推理场景下显著优于 vLLM。 核心创新：RadixAttention 传统推理引擎的 KV Cache 是按请求隔离的——每个请求独立计算 Attention 的 K 和 V，无法复用。在多轮对话中，前几轮的 KV Cache 每次都要重算。 SGLang 用基数树（Radix Tree）管理 KV Cache： RadixTree: [system prompt] → [user msg 1 + assistant msg 1] → [user msg 2 + ...] ↑ 命中缓存 ↑ 命中缓存 ↑ 新计算 当新请求的前缀与已缓存的前缀匹配时，直接复用 KV Cache，跳过重复计算。 效果： 多轮对话：第 N 轮只计算第 N 轮的 KV，前 N-1 轮全部命中缓存 Few-shot 场景：多个示例的前缀共享缓存 Agent 场景：system prompt 长且固定，缓存命中率接近 100% 与 vLLM 的 PagedAttention 对比 特性 vLLM PagedAttention SGLang RadixAttention 缓存粒度 物理页（块级） 逻辑前缀（语义级） 跨请求复用 需手动启用 prefix caching 自动复用 多轮对话 每轮重新计算 prefix 前缀自动命中 树结构管理 页表 基数树 缓存命中率 中 高 内存效率 高 高 安装 # 安装 SGLang pip install sglang # 或从源码安装 pip install --upgrade pip pip install "sglang[all]" GPU 要求：CUDA 12.0+，推荐 A100/H100/L40S。消费级显卡（3090/4090）也可用。 ...