生产架构

引言 随着AI生成内容的能力越来越强，内容审核（Content Moderation）已经成为AI系统不可或缺的安全防线。恶意用户可能利用AI生成有害内容：虚假信息、仇恨言论、色情内容、暴力描述等。 2026年，内容审核已经从简单的关键词过滤，发展为多模态、多层次、智能化的综合防御体系。本文将系统探讨AI内容审核架构的设计。 一、内容审核的挑战 1.1 规模挑战 AI系统每天可能生成数百万条内容。人工审核不可能覆盖，自动化审核是必须的。 1.2 多模态挑战 内容不仅是文本，还有图像、音频、视频。需要多模态审核能力。 1.3 上下文挑战 同样的内容在不同上下文中可能恰当也可能不当。例如，“杀死"在烹饪语境中是正常的，在暴力语境中是不当的。 1.4 对抗挑战 恶意用户会尝试绕过审核：同音词、Unicode混淆、图像隐写等。 二、多层次审核架构 2.1 架构全景 输入 → L1: 输入过滤 → L2: 生成监控 → L3: 输出审核 → L4: 事后审计 ↓ ↓ ↓ ↓ 拒绝 标记/修改 拒绝/标记 记录/学习 2.2 L1：输入过滤 在用户输入到达模型之前进行审核： class InputModeration: async def moderate_input(self, user_input): """输入审核""" # 1. 文本审核 text_violations = await self.moderate_text(user_input) # 2. 图像审核（如果输入包含图像） image_violations = [] if self.has_image(user_input): image_violations = await self.moderate_image(user_input.image) # 3. 综合判断 all_violations = text_violations + image_violations if any(v["severity"] == "critical" for v in all_violations): return {"action": "reject", "reason": all_violations} elif any(v["severity"] == "high" for v in all_violations): return {"action": "flag", "reason": all_violations} else: return {"action": "allow", "input": user_input} 2.3 L2：生成监控 在模型生成过程中实时监控： ...

从 POC 到生产的鸿沟 POC 阶段一个 LangChain + Chroma 就能跑通，但百万级查询的生产系统需要解决：检索精度、延迟、扩展性、成本、更新策略。 生产架构总览 ┌──────────────────────────────────────────────────────────────┐ │ 用户查询 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 1. Query 处理层 │ │ - 查询改写 / HyDE / 多查询扩展 │ │ - 意图识别 / 路由 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 2. 检索层 │ │ ┌────────────────┐ ┌────────────────┐ │ │ │ 向量检索 (ANN) │ │ 关键词检索 (BM25)│ │ │ │ top_k=20 │ │ top_k=20 │ │ │ └───────┬────────┘ └───────┬────────┘ │ │ └────────┬──────────┘ │ │ ▼ │ │ ┌────────────────┐ │ │ │ 融合 (RRF) │ │ │ │ top_k=50 │ │ │ └───────┬────────┘ │ └──────────────────┼─────────────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 3. 重排层 (Reranker) │ │ Cross-Encoder 重排 → top_k=5 │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 4. 生成层 │ │ Context + Query → LLM → Response + Citations │ └──────────────────────────┬───────────────────────────────────┘ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 5. 缓存层 │ │ 语义缓存 → 响应缓存 │ └──────────────────────────────────────────────────────────────┘ 向量数据库选型 数据库 索引算法 百万级 QPS 扩展性 生态 许可证 Milvus HNSW/IVF/DiskANN 高 分布式原生 丰富 Apache 2.0 Pinecone 专有 高 全托管 SaaS only 商业 Weaviate HNSW 中高 分布式 良好 BSD-3 Qdrant HNSW 高 Rust 单机/分布式 新锐 Apache 2.0 pgvector IVFFlat/HNSW 中 PG 生态 最广 PostgreSQL Redis HNSW/FLAT 高 Redis 生态 良好 Redis SSPL 生产推荐： ...