https://guijiagi.com/tags/kv%E7%BC%93%E5%AD%98/Recent content in KV缓存 on AI 实战派 · 从技术到赚钱Hugozh-cn本站内容采用 CC BY-NC-SA 4.0 国际许可协议授权Fri, 09 Oct 2026 16:00:00 +0800https://guijiagi.com/posts/2026-10-09-11-fp8-kv-cache-capacity/Fri, 09 Oct 2026 16:00:00 +0800https://guijiagi.com/posts/2026-10-09-11-fp8-kv-cache-capacity/vLLM V1 已支持 FP8 KV Cache。把 KV 从 BF16 压到 FP8，显存占用直接减半，但要付出精度代价。本文给换算公式与取舍建议。https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/Fri, 09 Oct 2026 15:48:00 +0800https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/llm-d 读取 vLLM 的 KV-cache 事件做 prefix-aware 路由，并用全局索引与 CPU、SSD 分层卸载管理分布式 KV 缓存。