重排序

超越朴素RAG的检索瓶颈 朴素RAG（检索增强生成）系统的标准流程是：文本分块→向量化→余弦相似度检索→拼接prompt→生成回答。但在生产环境中，这种方案的检索准确率往往不超过60%。本文分享如何通过混合检索和重排序将准确率提升到85%以上。 混合检索：双路召回 稀疏检索：BM25的回归 BM25基于词项频率和文档频率，对精确关键词匹配有天然优势。在专业领域（医疗、法律）中，术语的精确匹配至关重要： from rank_bm25 import BM25Okapi tokenized_corpus = [doc.split() for doc in corpus] bm25 = BM25Okapi(tokenized_corpus) scores = bm25.get_scores(query.split()) 稠密检索：语义理解的利器 稠密检索通过Embedding模型捕获语义相似性，能处理同义词和跨语言匹配。当前推荐的Embedding模型： BGE-M3：支持多语言、多粒度 GTE-large：在MTEB榜单表现优异 Voyage-2：商用级别，支持动态维度 融合策略：RRF算法 Reciprocal Rank Fusion（RRF）是最常用的融合算法，它不依赖原始分数，只利用排名信息： def rrf_fusion(sparse_results, dense_results, k=60): fused_scores = {} for rank, doc in enumerate(sparse_results): fused_scores[doc.id] = fused_scores.get(doc.id, 0) + 1 / (k + rank + 1) for rank, doc in enumerate(dense_results): fused_scores[doc.id] = fused_scores.get(doc.id, 0) + 1 / (k + rank + 1) return sorted(fused_scores.items(), key=lambda x: x[1], reverse=True) RRF的优势在于无需调参，且对两个检索系统的分数尺度不敏感。 重排序：精排阶段 粗排阶段获取Top-50候选后，需要用更精确但更慢的模型进行重排序。 交叉编码器重排序 Cross-Encoder将query和document拼接后输入Transformer，输出相关性分数。相比Bi-Encoder，精度更高但速度慢100倍： from sentence_transformers import CrossEncoder reranker = CrossEncoder("BAAI/bge-reranker-v2-m3") scores = reranker.predict([(query, doc.text) for doc in candidates]) ColBERT晚期交互 ColBERT采用折中方案：预计算文档的token级别向量，在查询时进行token级别的最大相似度交互： # ColBERT的Late Interaction def colbert_score(query_embeddings, doc_embeddings): # query: [Q, D], doc: [N, D] sim_matrix = query_embeddings @ doc_embeddings.T # [Q, N] max_per_query = sim_matrix.max(axis=1) # [Q] return max_per_query.sum() ColBERT在保持接近Cross-Encoder精度的同时，速度提升约10倍。 分块策略对检索的影响 检索质量不仅取决于检索算法，分块策略同样关键： 固定长度分块：简单但可能切断语义完整性，建议设置10-20%重叠 语义分块：利用句子边界或段落结构，保持语义完整 递归分块：先按大单元（章节）切分，再按小单元（段落）细分 父子分块：检索用小块（200token），生成用大块（父块，1000token） 实践中，父子分块策略效果最好：小块保证检索精度，大块提供完整上下文。 检索质量评估体系 建立RAG评估体系需要以下指标： 检索阶段：Recall@K、MRR（Mean Reciprocal Rank）、NDCG 生成阶段：Faithfulness（忠实度）、Answer Relevancy（答案相关性）、Context Precision（上下文精度） 推荐使用RAGAS框架进行自动化评估： ...

引言 在RAG系统中，向量检索负责从海量文档中快速召回候选结果，但召回结果的排序不一定准确。重排序（Reranking）作为第二步，对候选结果进行更精确的排序，将最相关的文档排在最前面。 2026年，重排序已经成为RAG系统的标配组件。一个好的重排序模型可以将RAG的准确率提升20-40%。本文将深入探讨重排序技术。 一、为什么需要重排序 1.1 向量检索的局限 向量检索使用双塔模型（Bi-encoder）：查询和文档分别编码，通过向量相似度排序。这种方式速度快，但精度有限——因为查询和文档的交互发生在最后的相似度计算阶段。 1.2 重排序的优势 重排序使用交叉编码器（Cross-encoder）：将查询和文档拼接在一起输入模型，模型可以充分理解查询和文档的关系。精度更高，但速度更慢。 向量检索: encode(query) · encode(doc) → similarity score (快，精度中等) 重排序: encode([query, doc]) → relevance score (慢，精度高) 1.3 两阶段架构 查询 → 向量检索（召回Top-100）→ 重排序（精排Top-10）→ 生成 向量检索负责"快而全"，重排序负责"准而精"。 二、重排序模型 2.1 交叉编码器 class CrossEncoderReranker: def __init__(self, model_name="cross-encoder/ms-marco-MiniLM-L-12-v2"): self.model = load_model(model_name) async def rerank(self, query, documents, top_k=10): # 1. 构建query-document对 pairs = [(query, doc.text) for doc in documents] # 2. 模型打分 scores = self.model.predict(pairs) # 3. 排序 ranked = sorted(zip(documents, scores), key=lambda x: -x[1]) return [doc for doc, score in ranked[:top_k]] 2.2 LLM重排序 class LLMReranker: def __init__(self, llm): self.llm = llm async def rerank(self, query, documents, top_k=10): # 方法1: 逐个打分 scores = [] for doc in documents: score = await self.score_document(query, doc) scores.append(score) # 方法2: 两两比较（更准确但更慢） # ranked = await self.pairwise_rank(query, documents) # 排序 ranked = sorted(zip(documents, scores), key=lambda x: -x[1]) return [doc for doc, score in ranked[:top_k]] async def score_document(self, query, document): """使用LLM对query-document对打分""" prompt = f""" 查询: {query} 文档: {document.text[:500]} 请评估文档与查询的相关性: 0 - 完全不相关 1 - 弱相关 2 - 部分相关 3 - 相关 4 - 高度相关 只输出数字。 """ result = await self.llm.call(prompt) return int(result.strip()) async def pairwise_rank(self, query, documents): """两两比较排序""" # 使用类似冒泡排序的方法 for i in range(len(documents)): for j in range(i+1, len(documents)): comparison = await self.compare(query, documents[i], documents[j]) if comparison == "B is better": documents[i], documents[j] = documents[j], documents[i] return documents 2.3 ColBERT ColBERT是一种延迟交互模型，介于双塔和交叉编码器之间： ...

为什么重排序是 RAG 的必备环节 向量检索（Bi-Encoder）速度快但精度有限，因为它将 query 和文档独立编码。重排序（Cross-Encoder）将 query 和文档拼接在一起送入模型，能捕获更精细的语义交互，显著提升检索精度。 向量检索 (Bi-Encoder) 重排序 (Cross-Encoder) Q → [Embedding] → ← [Embedding] ← Doc Q + Doc → [Cross-Encoder] → Score 速度快，精度中等 速度慢，精度高 召回阶段 (Top-50) 精排阶段 (Top-5) 三大重排序方案概览 特性 Cohere Rerank BGE-Reranker Jina Reranker 类型 闭源 API 开源模型 开源模型 + API 最大序列长度 4096 8192 8192 多语言 ✅ 100+语言 ✅ 中英文为主 ✅ 100+语言 部署方式 仅 SaaS 自托管 自托管/SaaS 延迟 (P99) 200ms 150ms (GPU) 180ms (GPU) 成本 $2/1K调用 GPU成本 GPU或$1/1K 实战对比 1. Cohere Rerank v4 import cohere client = cohere.Client(api_key="your-api-key") def cohere_rerank(query: str, documents: list, top_n: int = 5): response = client.rerank( model="rerank-multilingual-v3.0", query=query, documents=documents, top_n=top_n, max_tokens_per_doc=4096 ) return [ { "index": r.index, "document": documents[r.index], "relevance_score": r.relevance_score } for r in response.results ] 优点：开箱即用、多语言强、稳定可靠 缺点：依赖外部 API、有数据隐私顾虑、按调用计费 ...

在 RAG 系统中，Embedding 负责粗排，Reranker 负责精排。一个优质的 Reranker 可以将 RAG 的检索准确率提升 10-20%。2026 年，Reranker 市场形成了 Cohere（闭源标杆）、BGE（开源之光）、Jina（多语言专家）三足鼎立的格局。本文将在真实 RAG 场景中对三者进行全面对比。 一、Reranker 基础 Reranker vs Embedding 维度 Embedding Reranker 架构 双塔（Bi-Encoder） 交叉（Cross-Encoder） 计算方式 独立编码，余弦相似度 联合编码，输出相关性分数 速度 快（可预计算） 慢（每对实时计算） 精度 中（粗排） 高（精排） 在RAG中的角色 第一阶段召回 第二阶段重排 典型 RAG 检索流程： 查询 → Embedding检索(Top-100) → Reranker重排(Top-5) → 生成 为什么需要 Reranker？ 方案 Top-5 准确率 端到端准确率 仅 Embedding 78.3% 75.5% Embedding + Reranker 91.2% 87.3% 加入 Reranker 后 Top-5 准确率提升 12.9%，端到端准确率提升 11.8%——这是 RAG 系统中投入产出比最高的优化之一。 ...

引言 在RAG系统中，向量检索通常返回Top-K候选文档，但这些文档的排序精度往往不够理想——原因在于向量检索使用的是双塔模型（Bi-Encoder），查询和文档独立编码，无法捕获细粒度的交互特征。重排序（Rerank）通过使用更精细的交叉编码器（Cross-Encoder）对候选文档重新打分，显著提升排序质量。本文深入Rerank策略的原理、模型选择和工程实践。 为什么需要Rerank 双塔模型的局限 向量检索使用双塔模型：查询和文档分别编码为向量，通过点积或余弦相似度计算相关性。这种方式的优势是速度快（可以预计算文档向量），但局限在于： 缺乏交互：查询和文档在编码时没有交互，无法捕获词级别的匹配关系 语义粗粒度：向量相似度高不等于真正相关，可能存在"语义假阳性" 排序精度有限：Top-1的准确率通常只有60-70%，存在改进空间 Cross-Encoder的优势 重排序模型使用Cross-Encoder：将查询和文档拼接在一起输入模型，模型可以捕获两者的细粒度交互特征。这相当于让模型"逐字对比"查询和文档，排序精度远高于双塔模型。 两阶段检索架构 查询 → 向量检索（召回阶段）→ Top-20候选 → Rerank（精排阶段）→ Top-5最终结果 两阶段架构平衡了效率和精度：向量检索负责高效召回，Rerank负责精确排序。 Rerank模型选择 通用Rerank模型 Cohere Rerank：商业API，效果优秀，使用简单： import cohere co = cohere.Client('your-api-key') def cohere_rerank(query, documents, top_n=5): results = co.rerank( model='rerank-multilingual-v3.0', query=query, documents=documents, top_n=top_n ) return [documents[r.index] for r in results.results] BGE-Reranker：开源模型，支持本地部署： from FlagEmbedding import FlagReranker reranker = FlagReranker('BAAI/bge-reranker-large', use_fp16=True) def bge_rerank(query, documents, top_n=5): pairs = [[query, doc] for doc in documents] scores = reranker.compute_score(pairs) # 按分数排序 ranked = sorted(zip(documents, scores), key=lambda x: x[1], reverse=True) return [doc for doc, _ in ranked[:top_n]] bge-reranker-v2-m3：多语言支持，轻量高效： from sentence_transformers import CrossEncoder model = CrossEncoder('BAAI/bge-reranker-v2-m3', max_length=512) def rerank(query, documents, top_n=5): pairs = [[query, doc] for doc in documents] scores = model.predict(pairs) ranked = sorted(zip(documents, scores), key=lambda x: x[1], reverse=True) return [doc for doc, _ in ranked[:top_n]] 模型选择对比 模型 类型 语言支持 延迟 效果 成本 Cohere Rerank API 多语言 中 优秀 按量付费 bge-reranker-large 本地 中英 中 优秀 免费（需GPU） bge-reranker-v2-m3 本地 多语言 低 良好 免费（轻量） ms-marco-MiniLM 本地 英文 低 良好 免费 GPT-4 Rerank API 多语言 高 优秀 高（按token） LLM作为Rerank器 使用LLM对候选文档进行重排序： ...

RAG 重排序指南：Cohere Rerank vs bge-reranker vs Cross-Encoder 引言 RAG 系统的标准流程是：向量检索 Top-K → 直接喂给 LLM。但向量检索（双塔模型）的弱点是精度有限：它擅长快速召回大量相关文档，但不擅长精细区分「真正相关」和「看起来相关」。 重排序（Reranking）是解决这一问题的关键环节：用一个更强大的模型对检索结果重新打分排序，将最相关的文档排到前面。 Query → 向量检索 Top-50 → 重排序 → Top-5 → LLM 生成 本文深入对比三种主流重排序方案。 1. 为什么需要重排序？ 1.1 双塔 vs 交叉编码器 特性 双塔模型（Bi-Encoder） 交叉编码器（Cross-Encoder） 架构 Query 和 Doc 独立编码 Query 和 Doc 拼接后联合编码 交互 无（仅在最后做余弦相似度） 全程（Attention 层交互） 精度 中 高 速度 极快（可预计算索引） 慢（每对 Q-D 需独立前向） 用途 初筛召回 精排 1.2 RAG 中的两阶段检索 # 两阶段检索流程 def two_stage_retrieve( query: str, vector_index, # 双塔向量索引 reranker, # 交叉编码器重排序 first_stage_k: int = 50, # 初筛数量 final_k: int = 5, # 最终数量 ) -> list: # Stage 1: 向量检索（快，召回多） candidates = vector_index.search(query, top_k=first_stage_k) # Stage 2: 重排序（精，筛少） pairs = [(query, doc["content"]) for doc in candidates] scores = reranker.predict(pairs) # 排序并取 Top-K ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True) return [doc for doc, score in ranked[:final_k]] 1.3 效果提升 指标 无重排序 有重排序 提升 Top-1 准确率 62.3% 78.1% +15.8% Top-5 召回率 81.2% 91.5% +10.3% MRR 0.681 0.832 +0.151 2. 方案一：Cohere Rerank API 2.1 概述 Cohere Rerank 是托管的商业重排序 API，基于自家训练的 rerank 模型，支持多语言。 ...

Reranker 在 RAG 中的角色 标准 RAG 流程：查询 → Embedding 检索 top-100 → LLM 生成。但 Embedding 检索的 recall 高、precision 低，top-5 里经常混入不相关结果。 Reranker 的作用：对 Embedding 检索返回的 top-100 做二次精排，把真正相关的结果提到前面。 查询 → Embedding 检索 (top-100) → Reranker 精排 (top-5) → LLM 召回阶段 精排阶段 生成阶段 效果量化：加入 Reranker 后，RAG 系统的回答准确率通常提升 10-25%。这不是锦上添花，是质变。 Bi-Encoder vs Cross-Encoder 两种架构是 Reranker 选型的核心决策。 Bi-Encoder（双编码器） 查询 → Encoder → 向量 A 文档 → Encoder → 向量 B 相似度 = cos(A, B) 查询和文档独立编码，可以预计算文档向量 速度快，适合大规模召回 但查询和文档没有交互，精度有限 Cross-Encoder（交叉编码器） [CLS] 查询 [SEP] 文档 [SEP] → Transformer → 相关性分数 查询和文档拼接后一起输入 Transformer 每一层都有 attention 交互，精度高 但无法预计算，每次都要前向传播 对比 维度 Bi-Encoder Cross-Encoder 精度 中等 高 速度 快 (ANN 检索) 慢 (逐对计算) 可预计算 是 否 适合阶段 召回 精排 典型模型 BGE / E5 BGE-Reranker / Cohere Rerank 最佳实践：Bi-Encoder 做召回（top-100），Cross-Encoder 做精排（top-5）。这是业界标准两阶段检索架构。 ...