Reranker

召回准，不等于排序准 混合检索把候选召回了，但有个致命问题：向量相似度是双向独立编码——query 和文档各自先变成向量，再算距离。这种方式快，但它没法精细判断「这份文档到底答没答这个问题」。Top-20 里经常混着几条主题接近、实则答非所问的 chunk，大模型把它们一起读进去，就容易被带偏。解决办法是在召回之后加一道重排（rerank）：用交叉编码模型把 query 和每篇候选拼在一起，让模型直接打一个相关性分数，再按分数重排取 Top-3 或 Top-5。 为什么用 bge-reranker 重排模型里，Cohere Rerank 是商业服务里最成熟的，但要按调用量付费、数据要出域。国内生产环境更常用的是开源的 bge-reranker 系列（智源 BAAI 出品）：bge-reranker-v2-m3 支持中英文多语言，参数约 568M，单张消费级显卡就能跑；更小的 bge-reranker-base 约 278M。它和 embedding 模型同源，配 bge-m3 做向量召回、bge-reranker-v2-m3 做重排，是一套经过大量生产验证的组合。 环节 模型 作用 量级 召回 bge-m3（1024维） 语义+稀疏双路 百万条索引 重排 bge-reranker-v2-m3 query-doc 交叉打分 只对 Top-20 逐条算 关键认知：重排只对召回后的小候选集（20-50 条）逐条打分，不用对全库算，所以慢一点也无所谓——交叉编码比向量检索慢，但调用量小，整体延迟通常增加 100-300ms，换来的是 Top-5 准确率显著上升。 三个实操参数 第一，重排后取 Top-3 到 Top-5 喂给大模型：别贪多，上下文里塞 8 条文档反而稀释注意力，3-5 条最相关的效果往往更好。第二，设置分数阈值：bge-reranker 输出的 logits 过 0 大致算相关，可以把分数低于阈值的候选直接丢掉，避免硬塞不相关内容。第三，GPU 批处理：transformers 加载时用 torch_dtype=torch.float16、批推理，20 条候选一次算完；没有独显就用 ONNX Runtime CPU 版，慢但够用。LlamaIndex 里直接挂 SentenceTransformerRerank，几行代码接上。 ...

为什么需要Reranker？ RAG检索分两个阶段： 第一阶段：召回（Recall） Embedding向量检索，快速从百万文档中召回Top-K（K=20-50） 优势：速度快（<50ms） 劣势：精度有限（Embedding模型容量小，语义理解浅） 第二阶段：精排（Precision） Cross-Encoder Reranker对Top-K重新打分排序 优势：精度高（Cross-Encoder能深度理解query-doc关系） 劣势：速度慢（需对每个候选单独计算） Reranker的本质：用更强的模型对初筛结果做精排，用少量延迟换取显著的精度提升。 Cross-Encoder vs Bi-Encoder Bi-Encoder (Embedding模型)： Query ──► Encoder ──► [向量] ◄── Encoder ◄── Document │ 余弦相似度 快但浅 Cross-Encoder (Reranker)： [Query, Document] ──► Encoder ──► 相关性分数 慢但深 Cross-Encoder将query和document拼接后一起输入模型，能捕捉两者间的细粒度交互关系，这是Bi-Encoder做不到的。 三大Reranker深度对比 1. Cohere Reranker import cohere co = cohere.Client(api_key="your-key") def cohere_rerank(query, documents, top_n=5): results = co.rerank( model="rerank-v3.5", query=query, documents=documents, top_n=top_n, ) reranked = [] for result in results.results: reranked.append({ "document": documents[result.index], "relevance_score": result.relevance_score, "index": result.index, }) return reranked 特点： ...

在 RAG 系统中，Embedding 负责粗排，Reranker 负责精排。一个优质的 Reranker 可以将 RAG 的检索准确率提升 10-20%。2026 年，Reranker 市场形成了 Cohere（闭源标杆）、BGE（开源之光）、Jina（多语言专家）三足鼎立的格局。本文将在真实 RAG 场景中对三者进行全面对比。 一、Reranker 基础 Reranker vs Embedding 维度 Embedding Reranker 架构 双塔（Bi-Encoder） 交叉（Cross-Encoder） 计算方式 独立编码，余弦相似度 联合编码，输出相关性分数 速度 快（可预计算） 慢（每对实时计算） 精度 中（粗排） 高（精排） 在RAG中的角色 第一阶段召回 第二阶段重排 典型 RAG 检索流程： 查询 → Embedding检索(Top-100) → Reranker重排(Top-5) → 生成 为什么需要 Reranker？ 方案 Top-5 准确率 端到端准确率 仅 Embedding 78.3% 75.5% Embedding + Reranker 91.2% 87.3% 加入 Reranker 后 Top-5 准确率提升 12.9%，端到端准确率提升 11.8%——这是 RAG 系统中投入产出比最高的优化之一。 ...

Reranker 在 RAG 中的角色 标准 RAG 流程：查询 → Embedding 检索 top-100 → LLM 生成。但 Embedding 检索的 recall 高、precision 低，top-5 里经常混入不相关结果。 Reranker 的作用：对 Embedding 检索返回的 top-100 做二次精排，把真正相关的结果提到前面。 查询 → Embedding 检索 (top-100) → Reranker 精排 (top-5) → LLM 召回阶段 精排阶段 生成阶段 效果量化：加入 Reranker 后，RAG 系统的回答准确率通常提升 10-25%。这不是锦上添花，是质变。 Bi-Encoder vs Cross-Encoder 两种架构是 Reranker 选型的核心决策。 Bi-Encoder（双编码器） 查询 → Encoder → 向量 A 文档 → Encoder → 向量 B 相似度 = cos(A, B) 查询和文档独立编码，可以预计算文档向量 速度快，适合大规模召回 但查询和文档没有交互，精度有限 Cross-Encoder（交叉编码器） [CLS] 查询 [SEP] 文档 [SEP] → Transformer → 相关性分数 查询和文档拼接后一起输入 Transformer 每一层都有 attention 交互，精度高 但无法预计算，每次都要前向传播 对比 维度 Bi-Encoder Cross-Encoder 精度 中等 高 速度 快 (ANN 检索) 慢 (逐对计算) 可预计算 是 否 适合阶段 召回 精排 典型模型 BGE / E5 BGE-Reranker / Cohere Rerank 最佳实践：Bi-Encoder 做召回（top-100），Cross-Encoder 做精排（top-5）。这是业界标准两阶段检索架构。 ...