缓存架构

引言 LLM推理是昂贵的——每次调用消耗Token、产生延迟、花费金钱。在Agent系统中，大量请求其实是重复的或高度相似的。缓存是解决这个问题的最有效手段。 一个设计良好的缓存架构可以将LLM调用减少60-80%，将响应延迟降低一个数量级，将运行成本压缩到原来的几分之一。2026年，缓存已经成为Agent系统的标配组件。 一、Agent缓存的多层模型 1.1 L1：响应缓存 缓存完整请求-响应对。当完全相同的请求再次出现时，直接返回缓存结果。 Request: "总结这篇文章" + article_content (hash: a1b2c3) Cache Hit → Return cached summary Cache Miss → Call LLM → Cache result → Return 适用场景：用户重复提问、模板化任务。 注意事项：必须对请求进行标准化处理——“总结这篇"和"帮我总结这篇"应该命中同一缓存。使用请求的语义哈希而非原始字符串作为缓存键。 1.2 L2：前缀缓存 LLM推理中，请求的前缀部分如果与之前请求相同，可以复用已计算的KV Cache。这在多轮对话中特别有效。 对话第1轮: [System Prompt + User Msg 1] → 生成回复1 对话第2轮: [System Prompt + User Msg 1 + Reply 1 + User Msg 2] ↑ 前缀相同，可复用KV Cache 2026年主流推理框架（vLLM、SGLang）都已支持前缀缓存，命中率通常在70%以上。 1.3 L3：语义缓存 即使请求不完全相同，只要语义相似就命中缓存。通过embedding计算请求的向量表示，与缓存中的请求向量比较相似度。 def semantic_cache_lookup(query, cache, threshold=0.95): query_embedding = embed(query) for cached_query, cached_response, cached_embedding in cache: similarity = cosine_similarity(query_embedding, cached_embedding) if similarity > threshold: return cached_response return None 适用场景：用户用不同措辞问同一个问题。 ...