RAG vs 长上下文：该用哪个？

场景: 10万页文档库，每次查询需要其中 5 页

RAG:     检索 5 页 (~2K token)  → 输入 2K token   → 成本: $0.006
长上下文: 全部塞入 (~250K token) → 输入 250K token → 成本: $0.75

RAG:     向量检索 ~50ms + LLM 2K token ~800ms  = ~850ms
长上下文: LLM 250K token ~15s                    = ~15000ms

class HybridRAGLongContext:
    """
    1. 用 RAG 检索 top-K 相关文档
    2. 将检索结果 + 原始查询一起放入长上下文模型
    3. 模型有充足上下文做全局推理
    """
    def __init__(self, embed_fn, vector_store, llm_call, 
                 top_k=20, max_context_tokens=50000):
        self.embed = embed_fn
        self.store = vector_store
        self.llm = llm_call
        self.top_k = top_k
        self.max_tokens = max_context_tokens
    
    def retrieve(self, query: str) -> list[dict]:
        embedding = self.embed(query)
        results = self.store.search(embedding, top_k=self.top_k)
        
        # 按 token 预算裁剪
        total_tokens = 0
        selected = []
        for r in results:
            doc_tokens = len(r["text"]) // 4  # 粗估
            if total_tokens + doc_tokens > self.max_tokens:
                break
            selected.append(r)
            total_tokens += doc_tokens
        
        return selected
    
    def answer(self, query: str) -> str:
        docs = self.retrieve(query)
        
        # 构建长上下文 prompt
        context_parts = []
        for i, doc in enumerate(docs):
            context_parts.append(
                f"=== 文档 {i+1} (来源: {doc.get('source','未知')}) ===\n{doc['text']}"
            )
        
        context = "\n\n".join(context_parts)
        
        prompt = f"""你是一个精确的信息检索助手。基于以下检索到的文档回答问题。

要求：
1. 只基于提供的文档回答，不要编造
2. 如果文档中没有相关信息，明确说明
3. 引用来源文档编号

检索文档：
{context}

问题：{query}

回答："""
        
        return self.llm(prompt)

128K 上下文窗口分配建议:

系统 prompt:        2K token  (1.5%)
用户查询:           1K token  (0.8%)
RAG 检索结果:      80K token  (62.5%)  ← top-20 文档
历史对话:          10K token  (7.8%)
模型回答预留:      35K token  (27.3%)