RAG vs Long Context：何时用检索增强何时用长上下文

RAG思路：只给LLM看相关的片段
┌─────────┐    ┌──────────┐    ┌─────────┐
│ 用户查询 │───▶│ 检索Top-K │───▶│ LLM生成 │
└─────────┘    │ 相关文档   │    └─────────┘
               └──────────┘

Long Context思路：把所有文档都塞给LLM
┌─────────┐    ┌────────────────────┐    ┌─────────┐
│ 用户查询 │───▶│ 全部文档(长上下文)  │───▶│ LLM生成 │
└─────────┘    └────────────────────┘    └─────────┘

文档位置对注意力的影响（GPT-5实测）：

文档开头 ──► 注意力权重高 ▼ ──► 文档结尾
            ▲                   ▲
         用户问题             系统提示
       容易引用              容易引用
       
文档中间 ──► 注意力权重低 ◄── 关键信息
            ▼
         容易被忽略

你的知识库有多大？
│
├── < 50K token (约4万汉字)
│   └── 直接用长上下文模型，无需RAG
│
├── 50K - 500K token
│   ├── 预算充足 + 简单问答 → 长上下文
│   └── 成本敏感 + 复杂推理 → RAG
│
└── > 500K token
    ├── 必须RAG（长上下文成本不可接受）
    └── 如果部分场景确实需要长上下文，用混合方案

def hybrid_rag_long_context(query, knowledge_base):
    # 第一步：RAG粗筛（从大规模知识库中检索Top-20）
    candidates = rag_retrieve(query, knowledge_base, top_k=20)
    
    # 第二步：Reranker精排
    ranked = reranker.rank(query, candidates)[:10]
    
    # 第三步：构建长上下文（将Top-10拼接，约30K token）
    long_context = build_context(ranked)
    
    # 第四步：长上下文模型生成（利用模型的全局理解能力）
    response = long_context_llm.generate(query, long_context)
    
    return response

# 架构
vector_store = Milvus(host="milvus-server", port=19530)
retriever = vector_store.as_retriever(search_kwargs={"k": 5})
llm = ChatOpenAI(model="gpt-4o-mini")

chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=retriever,
    return_source_documents=True,
)

# 将所有文档拼接后每次都发送
all_docs = load_all_documents()  # 1.2M token

def query_with_long_context(question):
    prompt = f"""基于以下所有技术文档回答问题：
    
    {all_docs}
    
    问题：{question}"""
    
    return llm.invoke(prompt)  # 使用GPT-5 2M上下文版本

def hybrid_query(question):
    # RAG检索Top-15文档（约30K token）
    docs = rag_retrieve(question, top_k=15)
    
    # 用Reranker精排到Top-8
    top_docs = reranker.rank(question, docs)[:8]
    
    # 拼接为长上下文
    context = "\n\n---\n\n".join([d.page_content for d in top_docs])
    
    # 长上下文模型生成
    prompt = f"""以下是从技术文档中检索到的相关资料：
    
    {context}
    
    问题：{question}
    
    请基于以上资料回答，并在回答中引用具体的文档来源。"""
    
    return long_context_llm.invoke(prompt)