RadixAttention

在 vLLM 与 llama.cpp 之外，SGLang 是 2026 年生产环境里增长最快的开源推理引擎之一：8 月版本 0.5.17 发布，先后为 Qwen3.8（8 月 12 日）、Qwen3.8-Flash-Next（8 月 26 日）提供 day-0 支持，还把全套特性搬到了 Google TPU 上。它的核心武器是 RadixAttention——用一棵基数树自动跨请求复用 KV cache。这套机制在 Agent 时代突然变得关键，原因值得讲清楚。 一次对话里藏着多少重复 prefill 传统推理引擎把每个请求当成独立任务：用户每多发一轮，系统提示、工具描述、历史对话都要重新算一遍 prefill。一个十轮的 Agent 会话，系统提示可能被完整计算十次。 RadixAttention 的做法是：把每个请求的 token 前缀组织成基数树（radix tree），树上每个节点对应一段连续 token 的 KV cache。两个请求共享同一个前缀，就直接复用同一块 GPU 显存里的 KV，跳过重复计算。多轮对话、RAG 的固定系统提示、Agent 重复挂载的工具清单——这些天然共享前缀的场景，命中之后 prefill 成本直接归零。 2026 年的进化：从全注意力到混合架构 SGLang 今年的两次升级更说明方向。4 月支持 DeepSeek-V4 时提出 ShadowRadix：混合注意力（滑动窗口 + 压缩状态）下，用虚拟全 token 坐标系统一把 KV 与循环状态都索引进基数树。8 月支持 Qwen3.8 时又推出 Unified Radix Cache，同时管理全注意力 KV 与 Mamba/GDN 递归状态。HiCache/HiRadixTree 进一步把冷数据卸到主机内存。 ...

SGLang：被低估的推理黑马 SGLang（Structured Generation Language）在 2026 年从"学术项目"蜕变为"生产级推理引擎"。由 LMSYS 团队（ChatBot Arena 的创建者）开发，SGLang 的核心创新是 RadixAttention——一种基于基数树的 KV Cache 复用技术，在多轮对话和复杂 Agent 场景中实现了惊人的性能提升。 核心技术创新 1. RadixAttention RadixAttention 是 SGLang 的标志性技术。它将 KV Cache 组织为基数树结构，实现前缀复用： 传统方案：每个请求独立维护 KV Cache ┌──────┐ ┌──────┐ ┌──────┐ │Req 1 │ │Req 2 │ │Req 3 │ │KV │ │KV │ │KV │ │Cache │ │Cache │ │Cache │ └──────┘ └──────┘ └──────┘ 浪费：相同前缀重复计算 RadixAttention：共享前缀的 KV Cache ┌─ "用户: 你好" (共享) │ ├─ "助手: 你好！有什么可以帮您？" (Req 1) │ └─ "助手: 您好！请问需要什么帮助？" (Req 2) └─ "用户: 写代码" (共享) └─ "助手: 好的，请告诉我..." (Req 3) import sglang as sgl # RadixAttention 自动复用前缀 @sgl.function def multi_turn_chat(s, question): s += "以下是一个专业对话：\n" s += "用户: " + question + "\n" s += "助手: " + sgl.gen("answer", max_tokens=256) # 多轮对话中，前缀自动复用 # 第一轮 state1 = multi_turn_chat.run(question="什么是 RAG？") # 第二轮（复用第一轮的前缀） state2 = multi_turn_chat.run(question="RAG 和微调有什么区别？") # 第三轮（复用前两轮的前缀） state3 = multi_turn_chat.run(question="如何结合使用？") # KV Cache 复用率随轮次增加而提高 # 实测：5 轮对话后，KV Cache 复用率达 85%+ 2. 结构化输出 SGLang 原生支持 JSON Schema 约束生成： ...