信息检索

引言 在RAG（检索增强生成）框架的赛道上，Haystack 2.0是一个容易被忽视但值得认真对待的选择。由deepset开发的Haystack没有LangChain那样的营销声量，但在生产环境的稳定性和架构设计上有着独特的优势。2026年的Haystack 2.0版本经过完全重构，已经成为构建生产级RAG系统的强力选择。 架构设计哲学 Haystack 2.0的核心设计理念是管道即代码（Pipeline as Code）——每个RAG系统都是一个由组件构成的DAG（有向无环图），组件之间通过类型化的连接传递数据。 文档输入 → 文档分割 → 嵌入生成 → 向量存储 ↓ 用户查询 → 查询嵌入 → 向量检索 → 重排序 → Prompt组装 → LLM生成 → 答案输出 与LangChain的Chain抽象不同，Haystack的Pipeline是真正有向图，支持分支、合并、循环等复杂拓扑。 核心组件解析 1. Document Store Haystack 2.0将文档存储抽象为统一接口，支持多种后端： from haystack.document_stores import ( ChromaDocumentStore, QdrantDocumentStore, ElasticsearchDocumentStore, PgVectorDocumentStore, ) # 使用Qdrant作为向量数据库 document_store = QdrantDocumentStore( host="localhost", port=6333, index="documents", embedding_dim=1024, recreate_index=False, metadata_indexed_fields=["source", "date", "category"], # Qdrant特有的payload过滤 on_disk_payload=True, optimizers_config={"indexing_threshold": 20000}, ) 2. Retriever 检索器是RAG系统的核心，Haystack支持多种检索策略的即插即用： from haystack.components.retrievers import ( QdrantEmbeddingRetriever, QdrantHybridRetriever, BM25Retriever, ) # 纯向量检索 embedding_retriever = QdrantEmbeddingRetriever( document_store=document_store, top_k=20, filters={"field": "category", "operator": "==", "value": "technical"}, ) # 混合检索（向量+关键词） hybrid_retriever = QdrantHybridRetriever( document_store=document_store, top_k=20, # Dense和Sparse检索结果融合 fusion_algorithm="reciprocal_rank_fusion", rrf_k=60, ) 3. Ranker 重排序是提升RAG精度的关键步骤： ...

搜索的第三次革命 第一次革命是Google的PageRank——用链接投票排序网页。第二次革命是移动搜索——随时随地获取信息。第三次革命正在进行——AI驱动的语义搜索，从"给链接"到"给答案"。 AI搜索的技术架构 传统搜索引擎的局限 传统搜索的流程：爬虫索引→关键词匹配→排序→返回结果页。用户需要自己从多个网页中提取需要的信息。这在简单事实查询中效率尚可，但在复杂问题面前力不从心。 AI搜索的架构 用户查询 → 查询理解与改写 → 多源检索（Web+知识库）→ 相关性筛选 → 内容提取 → LLM综合生成 → 引用标注 → 返回答案 查询理解 AI搜索的第一步是理解用户的真实意图： def query_understanding(query, conversation_history): # 1. 意图分类 intent = classify_intent(query) # informational / navigational / transactional / comparative # 2. 查询改写 rewritten = llm.rewrite(query, context=conversation_history) # "最好用的AI模型" → "2026年大语言模型性能对比评测" # 3. 子查询分解 sub_queries = decompose_query(rewritten) # "对比Llama和Qwen" → ["Llama 4性能评测", "Qwen3性能评测", "Llama vs Qwen对比"] return { "intent": intent, "rewritten": rewritten, "sub_queries": sub_queries } 多源检索 AI搜索不限于网页索引，还整合结构化知识库： Web搜索：实时获取最新信息 知识图谱：实体关系查询 计算引擎：数学计算和单位转换 垂直数据源：股票、天气、航班等 内容提取与去重 从多个网页中提取相关段落，去除重复内容： ...