生产架构

引言 在RAG（检索增强生成）框架的赛道上，Haystack 2.0是一个容易被忽视但值得认真对待的选择。由deepset开发的Haystack没有LangChain那样的营销声量，但在生产环境的稳定性和架构设计上有着独特的优势。2026年的Haystack 2.0版本经过完全重构，已经成为构建生产级RAG系统的强力选择。 架构设计哲学 Haystack 2.0的核心设计理念是管道即代码（Pipeline as Code）——每个RAG系统都是一个由组件构成的DAG（有向无环图），组件之间通过类型化的连接传递数据。 文档输入 → 文档分割 → 嵌入生成 → 向量存储 ↓ 用户查询 → 查询嵌入 → 向量检索 → 重排序 → Prompt组装 → LLM生成 → 答案输出 与LangChain的Chain抽象不同，Haystack的Pipeline是真正有向图，支持分支、合并、循环等复杂拓扑。 核心组件解析 1. Document Store Haystack 2.0将文档存储抽象为统一接口，支持多种后端： from haystack.document_stores import ( ChromaDocumentStore, QdrantDocumentStore, ElasticsearchDocumentStore, PgVectorDocumentStore, ) # 使用Qdrant作为向量数据库 document_store = QdrantDocumentStore( host="localhost", port=6333, index="documents", embedding_dim=1024, recreate_index=False, metadata_indexed_fields=["source", "date", "category"], # Qdrant特有的payload过滤 on_disk_payload=True, optimizers_config={"indexing_threshold": 20000}, ) 2. Retriever 检索器是RAG系统的核心，Haystack支持多种检索策略的即插即用： from haystack.components.retrievers import ( QdrantEmbeddingRetriever, QdrantHybridRetriever, BM25Retriever, ) # 纯向量检索 embedding_retriever = QdrantEmbeddingRetriever( document_store=document_store, top_k=20, filters={"field": "category", "operator": "==", "value": "technical"}, ) # 混合检索（向量+关键词） hybrid_retriever = QdrantHybridRetriever( document_store=document_store, top_k=20, # Dense和Sparse检索结果融合 fusion_algorithm="reciprocal_rank_fusion", rrf_k=60, ) 3. Ranker 重排序是提升RAG精度的关键步骤： ...

引言 随着AI生成内容的能力越来越强，内容审核（Content Moderation）已经成为AI系统不可或缺的安全防线。恶意用户可能利用AI生成有害内容：虚假信息、仇恨言论、色情内容、暴力描述等。 2026年，内容审核已经从简单的关键词过滤，发展为多模态、多层次、智能化的综合防御体系。本文将系统探讨AI内容审核架构的设计。 一、内容审核的挑战 1.1 规模挑战 AI系统每天可能生成数百万条内容。人工审核不可能覆盖，自动化审核是必须的。 1.2 多模态挑战 内容不仅是文本，还有图像、音频、视频。需要多模态审核能力。 1.3 上下文挑战 同样的内容在不同上下文中可能恰当也可能不当。例如，“杀死"在烹饪语境中是正常的，在暴力语境中是不当的。 1.4 对抗挑战 恶意用户会尝试绕过审核：同音词、Unicode混淆、图像隐写等。 二、多层次审核架构 2.1 架构全景 输入 → L1: 输入过滤 → L2: 生成监控 → L3: 输出审核 → L4: 事后审计 ↓ ↓ ↓ ↓ 拒绝 标记/修改 拒绝/标记 记录/学习 2.2 L1：输入过滤 在用户输入到达模型之前进行审核： class InputModeration: async def moderate_input(self, user_input): """输入审核""" # 1. 文本审核 text_violations = await self.moderate_text(user_input) # 2. 图像审核（如果输入包含图像） image_violations = [] if self.has_image(user_input): image_violations = await self.moderate_image(user_input.image) # 3. 综合判断 all_violations = text_violations + image_violations if any(v["severity"] == "critical" for v in all_violations): return {"action": "reject", "reason": all_violations} elif any(v["severity"] == "high" for v in all_violations): return {"action": "flag", "reason": all_violations} else: return {"action": "allow", "input": user_input} 2.3 L2：生成监控 在模型生成过程中实时监控： ...

从 POC 到生产的鸿沟 POC 阶段一个 LangChain + Chroma 就能跑通，但百万级查询的生产系统需要解决：检索精度、延迟、扩展性、成本、更新策略。 生产架构总览 ┌──────────────────────────────────────────────────────────────┐ │ 用户查询 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 1. Query 处理层 │ │ - 查询改写 / HyDE / 多查询扩展 │ │ - 意图识别 / 路由 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 2. 检索层 │ │ ┌────────────────┐ ┌────────────────┐ │ │ │ 向量检索 (ANN) │ │ 关键词检索 (BM25)│ │ │ │ top_k=20 │ │ top_k=20 │ │ │ └───────┬────────┘ └───────┬────────┘ │ │ └────────┬──────────┘ │ │ ▼ │ │ ┌────────────────┐ │ │ │ 融合 (RRF) │ │ │ │ top_k=50 │ │ │ └───────┬────────┘ │ └──────────────────┼─────────────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 3. 重排层 (Reranker) │ │ Cross-Encoder 重排 → top_k=5 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 4. 生成层 │ │ Context + Query → LLM → Response + Citations │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 5. 缓存层 │ │ 语义缓存 → 响应缓存 │ └──────────────────────────────────────────────────────────────┘ 向量数据库选型 数据库 索引算法 百万级 QPS 扩展性 生态 许可证 Milvus HNSW/IVF/DiskANN 高 分布式原生 丰富 Apache 2.0 Pinecone 专有 高 全托管 SaaS only 商业 Weaviate HNSW 中高 分布式 良好 BSD-3 Qdrant HNSW 高 Rust 单机/分布式 新锐 Apache 2.0 pgvector IVFFlat/HNSW 中 PG 生态 最广 PostgreSQL Redis HNSW/FLAT 高 Redis 生态 良好 Redis SSPL 生产推荐： ...