https://guijiagi.com/tags/%E5%89%8D%E7%BC%80%E7%BC%93%E5%AD%98/Recent content in 前缀缓存 on AI 实战派 · 从技术到赚钱Hugozh-cn本站内容采用 CC BY-NC-SA 4.0 国际许可协议授权Fri, 09 Oct 2026 15:48:00 +0800https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/Fri, 09 Oct 2026 15:48:00 +0800https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/llm-d 读取 vLLM 的 KV-cache 事件做 prefix-aware 路由，并用全局索引与 CPU、SSD 分层卸载管理分布式 KV 缓存。https://guijiagi.com/posts/2026-10-08-08-sglang-radix-prefix-cache/Thu, 08 Oct 2026 15:42:00 +0800https://guijiagi.com/posts/2026-10-08-08-sglang-radix-prefix-cache/SGLang 用基数树做 KV 前缀缓存，并在 DeepSeek-V4、Qwen3.8 上做到 day-0 支持。本文拆解这套机制为什么对多轮 Agent 至关重要。