SGLang 2026：结构化生成的高性能推理引擎

传统方案：每个请求独立维护 KV Cache
┌──────┐ ┌──────┐ ┌──────┐
│Req 1 │ │Req 2 │ │Req 3 │
│KV    │ │KV    │ │KV    │
│Cache │ │Cache │ │Cache │
└──────┘ └──────┘ └──────┘
浪费：相同前缀重复计算

RadixAttention：共享前缀的 KV Cache
         ┌─ "用户: 你好" (共享)
         │   ├─ "助手: 你好！有什么可以帮您？" (Req 1)
         │   └─ "助手: 您好！请问需要什么帮助？" (Req 2)
         └─ "用户: 写代码" (共享)
             └─ "助手: 好的，请告诉我..." (Req 3)

import sglang as sgl

# RadixAttention 自动复用前缀
@sgl.function
def multi_turn_chat(s, question):
    s += "以下是一个专业对话：\n"
    s += "用户: " + question + "\n"
    s += "助手: " + sgl.gen("answer", max_tokens=256)

# 多轮对话中，前缀自动复用
# 第一轮
state1 = multi_turn_chat.run(question="什么是 RAG？")
# 第二轮（复用第一轮的前缀）
state2 = multi_turn_chat.run(question="RAG 和微调有什么区别？")
# 第三轮（复用前两轮的前缀）
state3 = multi_turn_chat.run(question="如何结合使用？")

# KV Cache 复用率随轮次增加而提高
# 实测：5 轮对话后，KV Cache 复用率达 85%+

import sglang as sgl
from pydantic import BaseModel
from typing import Literal

class Person(BaseModel):
    name: str
    age: int
    gender: Literal["male", "female", "other"]
    skills: list[str]
    email: str

@sgl.function
def extract_person(s, text: str):
    s += f"从以下文本中提取人物信息:\n{text}\n"
    s += "以 JSON 格式输出:\n"
    s += sgl.gen(
        "person",
        max_tokens=256,
        regex=Person.model_json_schema()  # 正则约束
    )

# 生成结果保证是合法 JSON
result = extract_person.run(text="张三，男，28岁，擅长Python和JavaScript，邮箱 zhang@example.com")
person = Person.model_validate_json(result["person"])
print(person)  # Person(name="张三", age=28, ...)

@sgl.function
def research_agent(s, topic: str):
    # 第一步：生成搜索查询
    s += "请为以下主题生成 3 个搜索查询：\n"
    s += f"主题: {topic}\n"
    s += "查询:\n"
    for i in range(3):
        s += f"{i+1}. " + sgl.gen(f"query_{i}", max_tokens=50, stop="\n") + "\n"
    
    # 第二步：评估查询质量
    s += "\n评估这些查询的质量（1-10分）:\n"
    s += "综合评分: " + sgl.gen("score", max_tokens=5, stop="\n")
    
    # 第三步：根据评分决定是否优化
    score = int(s["score"])
    if score < 7:
        s += "\n查询质量较低，正在优化...\n"
        s += "优化后的查询: " + sgl.gen("optimized_query", max_tokens=100)
    
    # 第四步：生成最终回答
    s += "\n基于以上分析，回答用户问题:\n"
    s += sgl.gen("final_answer", max_tokens=512)

# 执行
result = research_agent.run(topic="AGI 安全")

pip install sglang[all]

# 或从源码安装
git clone https://github.com/sgl-project/sglang.git
cd sglang
pip install -e ".[all]"

# 单 GPU
python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-32B-Instruct \
  --port 30000 \
  --tp 1 \
  --mem-fraction-static 0.88

# 多 GPU 张量并行
python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-72B-Instruct \
  --port 30000 \
  --tp 2 \
  --dp 1 \
  --mem-fraction-static 0.90 \
  --enable-flashinfer \
  --enable-radix-cache \
  --enable-overlap-schedule \
  --chunked-prefill-size 8192

# 离散推理（Prefill/Decode 分离）
# Prefill 节点
python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-72B-Instruct \
  --disaggregation-mode prefill \
  --disaggregation-ib-device mlx5_0 \
  --port 30000

# Decode 节点
python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-72B-Instruct \
  --disaggregation-mode decode \
  --disaggregation-ib-device mlx5_0 \
  --port 30001

import openai

client = openai.OpenAI(base_url="http://localhost:30000/v1", api_key="sglang")

# 普通对话
response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True
)

# 结构化输出（SGLang 独有）
response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "提取：张三28岁男"}],
    extra_body={
        "regex": r'\{"name": "[^"]+", "age": \d+, "gender": "(male|female|other)"\}'
    }
)

# Dockerfile
FROM sglang/sglang:v0.3.5

COPY . /app
WORKDIR /app

EXPOSE 30000

CMD ["python", "-m", "sglang.launch_server", \
     "--model-path", "/models/Qwen2.5-32B", \
     "--port", "30000", \
     "--tp", "2", \
     "--enable-radix-cache", \
     "--enable-flashinfer"]

# Docker 运行
docker run --gpus all -p 30000:30000 \
  -v /data/models:/models \
  sglang/sglang:v0.3.5 \
  --model-path /models/Qwen2.5-32B-Instruct \
  --tp 2 \
  --enable-radix-cache \
  --enable-flashinfer \
  --mem-fraction-static 0.90

apiVersion: apps/v1
kind: Deployment
metadata:
  name: sglang-qwen
spec:
  replicas: 2
  template:
    spec:
      containers:
      - name: sglang
        image: sglang/sglang:v0.3.5
        args:
          - --model-path=Qwen/Qwen2.5-32B-Instruct
          - --port=30000
          - --tp=2
          - --enable-radix-cache
          - --enable-flashinfer
          - --mem-fraction-static=0.90
          - --max-running-requests=256
        resources:
          limits:
            nvidia.com/gpu: 2
            memory: 128Gi
        ports:
          - containerPort: 30000
        readinessProbe:
          httpGet:
            path: /health
            port: 30000
          initialDelaySeconds: 90