Embedding

Embedding：向量检索的基础 在RAG系统中，Embedding模型的质量直接决定了检索质量的上限。一个好的Embedding模型能让语义相关的文档在向量空间中靠近，不相关的远离。选错了Embedding模型，后面再多优化也白费。 主流Embedding模型 通用模型 BGE系列（智源） bge-large-zh-v1.5：中文最强之一 bge-m3：多语言、多功能（稠密+稀疏+多向量） 维度：768/1024 优势：中文效果好、支持指令微调 E5系列（微软） multilingual-e5-large：多语言 E5-large-v2：英文 维度：1024 优势：多语言一致性好 GTE系列（阿里） gte-large-zh：中文优化 gte-multilingual：多语言 维度：1024 优势：长文本效果好 OpenAI text-embedding-3-large 维度：3072（可降维） 优势：API调用方便 劣势：中文效果不如国产模型 开源vs商用对比 模型 类型 中文MTEB 速度 部署 bge-m3 开源 66.3 快 自部署 gte-large-zh 开源 64.1 中 自部署 text-embedding-3 API 62.5 快 API jina-embeddings-v3 开源 63.8 中 自部署 模型选型维度 1. 语言支持 纯中文场景：bge-large-zh、gte-large-zh 中英混合：bge-m3、multilingual-e5 多语言：bge-m3、E5-multilingual 2. 向量维度 维度越高，表达能力越强，但存储和检索成本也越高： 维度 1M文档存储 检索延迟 表达能力 384 1.5GB 低 基准 768 3GB 中 好 1024 4GB 中 很好 3072 12GB 高 最好 实践建议：768维是性价比最高的选择。 ...

Embedding模型是RAG系统的基石。一个糟糕的Embedding选择，会让你的检索精度在起跑线上就输掉。但面对市面上数十个模型，如何选？本文将从工程实战角度给出系统性的选型框架。 一、Embedding模型的核心评估维度 1.1 维度与信息容量 维度不是越高越好，但太低必然丢信息： 维度范围 适用场景 代表模型 384维 轻量级、边缘部署 all-MiniLM-L6-v2 768维 通用场景 BGE-base, E5-base 1024维 高精度检索 BGE-large, E5-large 1536维 OpenAI生态 text-embedding-3-small 3072维 极高精度 text-embedding-3-large 选择维度的核心权衡：存储成本 × 检索速度 vs 召回精度。1000万条文档，768维FP32需要约30GB存储，而3072维则需要120GB。 1.2 多语言能力 如果你的RAG系统需要处理中英文混合语料，这一点至关重要： 强多语言：BGE-M3（支持100+语言）、E5-mistral-7b-instruct 中英双语优秀：BGE-large-zh-v1.5、m3e-large 英文为主：text-embedding-3-large、Cohere embed-v3 实测发现，在中文法律文本检索任务上，BGE-large-zh-v1.5的NDCG@10比text-embedding-ada-002高出12个百分点。语言适配性是实打实的性能差异。 1.3 最大输入长度 很多开发者忽略了这一点。如果你的文档chunk是512 token，但Embedding模型最大输入只有128 token，截断将导致严重信息丢失： 512 token：大部分开源模型，适合短chunk 2048 token：BGE-M3、jina-embeddings-v2，适合长段落 8192 token：text-embedding-3系列，几乎覆盖所有场景 二、主流模型横向对比 2.1 开源模型第一梯队 BGE-M3（智源）：当前开源Embedding的标杆。三合一特性——稠密检索+稀疏检索+多向量检索，一个模型搞定三种检索范式。在MTEB排行榜上长期霸榜。推荐用于中英文混合场景。 E5-mistral-7b-instruct：基于Mistral-7B微调，使用指令前缀区分查询和文档。精度极高，但模型体积大（14GB），推理延迟较高，不适合实时场景。 GTE-large-zh（阿里达摩院）：在中文场景表现出色，模型大小适中，适合自部署。 jina-embeddings-v2：支持8192 token超长输入，适合长文档场景。德语公司出品，在欧洲语言上表现优异。 2.2 闭源API模型 OpenAI text-embedding-3-large：3072维，支持维度裁剪（可降至256维而性能损失很小）。API调用简单，但成本需注意：每百万token $0.13。 Cohere embed-v3：在多语言场景表现突出，支持搜索优化类型和分类优化类型两种模式。每百万token $0.10。 Voyage AI voyage-2：专注于RAG场景优化，在技术文档检索上表现优异。 2.3 MTEB基准实测对比 在中文MTEB基准（C-MTEB）上的综合得分： ...

嵌入层：被忽视的显存大户 在LLM中，嵌入层（Embedding Layer）往往是被忽视的显存消耗者。以Llama-3为例，词表大小128K、隐藏维度4096、FP16精度下，嵌入层参数量为 128K × 4096 × 2 = 1GB。对于更大的词表（如Qwen的152K），嵌入层可达1.5GB以上。 在70B模型中，嵌入层占总参数量的约2%，但在推理时它还需要一个等大的输出投影层（LM Head），两者合计占4%——这还不算小。 标准嵌入层 查找表 标准嵌入层是一个简单的查找表——词表中的每个token对应一个可学习的向量： class StandardEmbedding(nn.Module): def __init__(self, vocab_size, d_model): super().__init__() self.weight = nn.Parameter(torch.randn(vocab_size, d_model)) def forward(self, input_ids): # 简单的索引查找 return self.weight[input_ids] # [batch, seq_len, d_model] 权重共享 许多LLM共享嵌入层和输出层的权重（Weight Tying）： class SharedEmbeddingModel(nn.Module): def __init__(self, vocab_size, d_model): super().__init__() self.embedding = nn.Embedding(vocab_size, d_model) # 输出层直接使用嵌入矩阵的转置 # 不需要额外的参数 def forward(self, input_ids): x = self.embedding(input_ids) x = self.transformer(x) # 输出logits = x @ embedding.weight.T logits = F.linear(x, self.embedding.weight) return logits 权重共享的好处： 减少参数量（节省1GB+显存） 输入和输出在同一个语义空间中 训练时梯度信号更强 但也有研究指出，权重共享可能导致冲突——输入嵌入需要捕捉"词的语义"，输出层需要捕捉"词的预测概率分布"，两者的最优表示可能不同。 嵌入层压缩 矩阵分解 将大的嵌入矩阵分解为两个小矩阵的乘积： class FactorizedEmbedding(nn.Module): def __init__(self, vocab_size, d_model, d_factor): """ d_factor: 分解后的中间维度 """ super().__init__() # V × D → V × d_factor × d_factor × D self.factor1 = nn.Parameter(torch.randn(vocab_size, d_factor)) self.factor2 = nn.Parameter(torch.randn(d_factor, d_model)) def forward(self, input_ids): # 查找低维因子，然后投影到高维 low_dim = self.factor1[input_ids] # [batch, seq, d_factor] return low_dim @ self.factor2 # [batch, seq, d_model] 参数量从 V×D 降低到 V×d + d×D。当 D=4096、d=256、V=128K 时，参数量减少约16倍。 ...

引言 嵌入模型是RAG系统、语义搜索和推荐系统的基石。虽然不如生成模型那样引人注目，但嵌入模型的质量直接决定了上游应用的效果上限。2026年，嵌入模型在多语言、长文本和领域特化方面取得了显著进步。本文将为你提供全面的选型指南。 为什么嵌入模型很重要 嵌入模型将文本转化为高维向量，使得语义相似的文本在向量空间中距离更近。这个看似简单的操作是以下应用的核心： RAG系统：通过向量检索找到相关文档 语义搜索：理解用户查询的真实意图 推荐系统：基于内容相似度推荐 聚类分析：发现文本集合中的主题结构 去重与匹配：识别语义重复内容 嵌入模型的质量提升10%，可能带来RAG系统端到端效果提升20-30%。 主流嵌入模型 商业API OpenAI text-embedding-4-large — 3072维，综合最强 Voyage AI voyage-3 — 2048维，检索特化 Cohere Embed v4 — 1536维，多语言强 Google text-gecko-3 — 768维，速度快 开源模型 BGE-large-zh-v2 (智源) — 1024维，中文最强 E5-mistral-7b (微软) — 4096维，英文最强 GTE-large-zh (阿里) — 1024维，中文优秀 Jina embeddings v3 (Jina AI) — 1024维，长文本强 Nomic embed v2 (Nomic) — 768维，开源可复现 BGE-M3 (智源) — 1024维，多语言+多功能 核心基准对比 MTEB 2026 MTEB（Massive Text Embedding Benchmark）是最权威的嵌入模型评估基准： 英文检索 模型 维度 得分 特点 voyage-3 2048 72.8 检索之王 text-embedding-4-large 3072 71.5 综合最佳 E5-mistral-7b 4096 70.3 开源英文最佳 Cohere Embed v4 1536 69.7 多语言均衡 Jina embeddings v3 1024 68.5 长文本强 Nomic embed v2 768 66.2 轻量高效 中文检索 模型 维度 得分 特点 BGE-large-zh-v2 1024 74.5 中文之王 GTE-large-zh 1024 72.8 中文优秀 BGE-M3 1024 71.3 多语言兼中文 text-embedding-4-large 3072 70.2 商业中文最佳 Cohere Embed v4 1536 68.7 长文本检索 在处理长文档（>8K tokens）的检索任务上： ...

为什么Embedding模型决定RAG上限？ RAG系统的检索质量 = Embedding模型质量 × 向量库能力 × 检索策略。后两者已经相对成熟，Embedding模型成为拉开差距的关键变量。 一个差的Embedding模型，即使后面Reranker再强也无力回天——因为你根本检索不到相关文档。 测评模型清单 我们选取了2026年主流的10款Embedding模型进行测评： 模型 提供方 维度 参数量 最大长度 部署方式 text-embedding-3-large OpenAI 3072 - 8192 API text-embedding-3-small OpenAI 1536 - 8192 API BGE-large-zh-v1.5 BAAI 1024 326M 512 本地 BGE-M3 BAAI 1024 568M 8192 本地 GTE-large-zh 阿里 1024 326M 512 本地 GTE-Qwen2-7B-Instruct 阿里 3584 7B 32K 本地 Jina-embeddings-v3 Jina AI 1024 570M 8192 本地/API Cohere-embed-v4 Cohere 1024 - 512 API E5-large-v2 Microsoft 1024 335M 512 本地 UAE-large-v1 WhereIsAI 1024 335M 512 本地 测评设置 数据集 数据集 文档数 查询数 特点 C-Pack 100万 5000 中文通用检索基准 MTEB-ZH 10万 1000 中文检索评估集 行业知识库(自建) 5万 500 金融、法律、医疗领域 多跳QA(自建) 1万 200 需要多文档关联 评估指标 # 主指标：NDCG@10 (归一化折损累积增益) # 辅助指标：Recall@5, Recall@10, MRR@10 def evaluate_retrieval(qrels, results, k=10): """计算检索评估指标""" ndcg_scores = [] recall_scores = [] mrr_scores = [] for query_id, retrieved_docs in results.items(): relevant_docs = qrels.get(query_id, {}) # NDCG@k ndcg = compute_ndcg(retrieved_docs[:k], relevant_docs) ndcg_scores.append(ndcg) # Recall@k recall = len(set(retrieved_docs[:k]) & set(relevant_docs)) / len(relevant_docs) recall_scores.append(recall) # MRR@k mrr = compute_mrr(retrieved_docs[:k], relevant_docs) mrr_scores.append(mrr) return { "ndcg@10": np.mean(ndcg_scores), "recall@5": np.mean([compute_recall(r, q, 5) for r, q in zip(results, qrels)]), "recall@10": np.mean(recall_scores), "mrr@10": np.mean(mrr_scores), } 测评结果 总体排名（NDCG@10） 排名 模型 C-Pack MTEB-ZH 行业库 多跳QA 平均分 1 GTE-Qwen2-7B 0.823 0.801 0.782 0.698 0.801 2 text-embedding-3-large 0.815 0.792 0.768 0.671 0.787 3 BGE-M3 0.808 0.785 0.771 0.662 0.782 4 Jina-embeddings-v3 0.801 0.778 0.759 0.658 0.774 5 BGE-large-zh-v1.5 0.792 0.771 0.752 0.641 0.764 6 GTE-large-zh 0.788 0.768 0.748 0.635 0.760 7 Cohere-embed-v4 0.781 0.762 0.741 0.628 0.753 8 E5-large-v2 0.772 0.754 0.732 0.615 0.743 9 text-embedding-3-small 0.761 0.748 0.725 0.608 0.736 10 UAE-large-v1 0.752 0.738 0.718 0.601 0.727 关键发现 1. GTE-Qwen2-7B一骑绝尘 GTE-Qwen2-7B作为首款基于大语言模型（7B参数）的Embedding模型，在长文本理解上优势明显： ...

2026年，RAG（Retrieval-Augmented Generation）技术已经走过了三年的演进历程。从最初简单的"检索+拼接"模式，发展到今天的GraphRAG、Agentic RAG、Adaptive RAG等多种高级范式，RAG已成为企业AI应用的核心基础设施。本文将系统梳理2026年RAG技术的全景图。 一、RAG技术演进路线 四代RAG架构 代际 名称 核心特征 时间 代表方案 第一代 Naive RAG 简单向量检索+拼接 2023 LangChain Basic RAG 第二代 Advanced RAG 查询改写、重排序、多路召回 2024 LlamaIndex Advanced 第三代 Modular RAG 模块化、可插拔、自适应路由 2025 LangGraph RAG 第四代 Agentic RAG Agent驱动、多步推理、工具调用 2026 Agentic RAG, GraphRAG 为什么需要更先进的RAG？ Naive RAG的根本问题在于： 检索质量不稳定：向量相似度≠语义相关性 缺乏推理能力：无法处理"需要多步推理才能回答"的问题 无结构化知识：无法利用实体关系、时序信息等结构化知识 无自适应能力：对所有问题用同一套检索策略 2026年企业RAG部署的统计：Naive RAG的准确率仅55-65%，而Agentic RAG可达85-92%——差距巨大。 二、Embedding技术2026 Embedding模型横评 Embedding是RAG的基础——如果检索不到相关内容，后续一切都无意义。 模型 维度 最大序列 MTEB分数 中文表现 特点 OpenAI text-embedding-3-large 3072 8191 72.5 良好 通用、稳定 Voyage-3 1024 32000 74.8 良好 2026最强 BGE-M3 1024 8192 73.2 优秀 多语言、开源 GTE-Large-ZH 1024 512 71.5 优秀 中文优化 Jina Embeddings v3 1024 8192 72.8 良好 长文本 Cohere Embed v4 1536 512 73.5 良好 多语言 2026年Embedding技术趋势 1. 多向量嵌入（Multi-Vector Embedding） ...

Embedding 模型是 RAG 系统的基石——检索质量的上限由 Embedding 模型决定。2026 年，中文 Embedding 模型迎来了新一轮洗牌。BGE、Qwen Embedding、Cohere 等新老玩家竞争激烈。本文将在 5 个中文检索场景中实测 12 款主流 Embedding 模型，给出最权威的排行。 一、评测设计 参评模型 模型 维度 最大长度 类型 许可证 BGE-M3 1024 8192 开源 MIT BGE-large-zh-v2 1024 512 开源 MIT Qwen3-Embedding-8B 4096 32768 开源 Apache 2.0 Qwen3-Embedding-0.6B 1024 32768 开源 Apache 2.0 GLM-5-Embedding 1024 8192 开源 Apache 2.0 text-embedding-3-large 3072 8191 闭源 OpenAI API Cohere Embed v4 1024 512 闭源 Cohere API Jina Embeddings v3 1024 8192 开源 CC-BY-NC Voyage-3 1024 32000 闭源 Voyage API GTE-Qwen2-7B 3584 32768 开源 Apache 2.0 Stella-1.5B 1536 131072 开源 MIT E5-Mistral-7B 4096 32768 开源 MIT 评测数据集 数据集 说明 样本数 MTEB-zh 中文通用检索 50,000 DuReader 百度真实问答 100,000 CMRC2018 中文阅读理解 20,000 法律检索 中国法律条文 15,000 医学问答 中文医学QA 12,000 评测指标 NDCG@10：归一化折损累积增益（主指标） Recall@5：Top-5 召回率 MRR：平均倒数排名 二、综合排行 排名 模型 综合 NDCG@10 MTEB-zh DuReader CMRC 法律 医学 1 Qwen3-Embedding-8B 85.3 88.2 86.5 83.7 82.1 85.8 2 Voyage-3 83.7 85.3 84.8 82.1 80.5 85.5 3 text-embedding-3-large 82.8 84.5 83.7 81.3 78.8 85.3 4 BGE-M3 81.5 83.2 82.5 80.1 78.3 83.2 5 GTE-Qwen2-7B 81.2 82.8 81.7 79.5 77.8 83.8 6 GLM-5-Embedding 80.3 82.5 81.2 78.8 79.5 79.2 7 Jina Embeddings v3 79.8 81.3 80.5 77.8 76.2 82.8 8 Stella-1.5B 78.5 80.7 79.3 76.5 75.8 79.8 9 E5-Mistral-7B 78.2 80.2 78.8 76.1 75.2 80.3 10 Qwen3-Embedding-0.6B 77.8 79.8 78.5 75.8 74.8 79.8 11 BGE-large-zh-v2 75.3 77.5 76.2 73.5 72.1 76.8 12 Cohere Embed v4 74.8 76.2 75.5 72.8 70.5 78.5 关键发现： ...

引言 RAG系统的检索质量很大程度上取决于嵌入模型的表示能力。通用嵌入模型（如text-embedding-ada-002、BGE）在开放域表现优秀，但在特定领域（医疗、法律、金融）往往力不从心。领域术语的特殊含义、专业表达方式的差异，都可能导致通用嵌入模型的语义匹配不准确。嵌入模型微调是解决这一问题的有效手段。本文分享嵌入模型微调的完整流程。 为什么需要微调嵌入模型 领域适配问题 以医疗领域为例，“阳性"在通用语境中是褒义的，但在医学语境中仅表示检测结果。通用嵌入模型可能将"阳性结果"与"好消息"的向量拉近，而医疗场景中"阳性结果"可能意味着确诊了某种疾病。 检索质量影响 嵌入模型不匹配会导致：相关文档检索不到（召回率低）、不相关文档排在前面（精确率低）、同义词无法匹配、专业缩写无法理解。 数据准备 训练数据格式 嵌入模型微调需要三元组数据：(query, positive, negative)： query：查询文本 positive：与query相关的正样本 negative：与query不相关的负样本 数据构建方法 方法一：利用已有标注数据 如果已有问答对或查询-文档配对数据，直接用作正样本对： # 从FAQ库构建训练数据 def build_from_faq(faq_data): training_data = [] for item in faq_data: query = item['question'] positive = item['answer'] # 随机采样负样本 negatives = random.sample([other['answer'] for other in faq_data if other != item], 5) training_data.append({ 'query': query, 'positive': positive, 'negatives': negatives }) return training_data 方法二：LLM辅助生成 使用LLM根据文档内容生成查询： def generate_training_data(documents, llm): training_data = [] for doc in documents: # 生成多种查询方式 prompt = f""" 根据以下文档内容，生成5个不同角度的查询问题。 问题应该能通过这段文档内容回答。 文档：{doc} 生成的问题： """ queries = llm.generate(prompt).split('\n') for query in queries: if query.strip(): training_data.append({ 'query': query.strip(), 'positive': doc, 'negatives': get_hard_negatives(query, doc, all_docs) }) return training_data 方法三：挖掘难负样本 难负样本（Hard Negatives）对微调效果至关重要——它们是与query相关但不应该匹配的文档： def get_hard_negatives(query, positive_doc, all_docs, top_k=5): """使用现有嵌入模型挖掘难负样本""" # 用现有模型检索 results = vector_store.search(query, top_k=top_k * 3) hard_negatives = [] for result in results: if result['doc'] != positive_doc and result['score'] > 0.5: hard_negatives.append(result['doc']) if len(hard_negatives) >= top_k: break return hard_negatives 数据质量检查 训练前进行数据质量检查： ...

引言：为什么 Embedding 模型选型至关重要 在 RAG（检索增强生成）系统中，Embedding 模型是决定检索质量的根本因素。一个优秀的 Embedding 模型能精准捕捉语义相似性，将相关文档排在前面；而一个不合适的模型可能让最先进的重排序器也无力回天。 2026 年，Embedding 模型领域出现了几个重要趋势：多语言模型性能持续提升、中文原生模型快速迭代、长文本 Embedding 成为标配、指令式 Embedding 逐渐成熟。本文将对当前主流的 Embedding 模型在中文场景下进行系统性的横向评测。 一、评测方法论 1.1 评测模型选择 本次评测选取了 2026 年主流的 8 个 Embedding 模型，涵盖国际模型与中文原生模型： 模型 厂商 维度 最大输入 特点 bge-m3 智源 1024 8192 多语言、多功能 bge-large-zh-v1.5 智源 1024 512 中文专用 text-embedding-3-large OpenAI 3072 8191 多语言、支持降维 voyage-3 Voyage AI 1024 32000 长文本优化 stella-en-v5 Stella 1024 8192 开源、MTEB 高分 gte-Qwen2-7B-instruct 阿里 3584 32768 大参数量 jina-embeddings-v3 Jina 1024 8192 多语言、指令式 Cohere embed-v4 Cohere 1536 512 多语言 1.2 评测数据集 评测使用三个层面 的数据集： ...

前言 Embedding 模型是 RAG（检索增强生成）系统和语义搜索的基石。一个优秀的 Embedding 模型可以让你的向量数据库"更聪明"地理解语义，大幅提升下游 LLM 的回答质量。2026 年，Embedding 模型领域迎来了多语言、长文本和多粒度的重要进展。本文将全面对比四款主流 Embedding 模型，帮助你为 RAG 系统选择最合适的向量引擎。 一、为什么 Embedding 选型如此重要？ 1.1 Embedding 在 RAG 中的角色 用户查询 → [Embedding 模型] → 查询向量 ↓ 知识库文档 → [Embedding 模型] → 文档向量 → 向量数据库 ↓ 向量相似度检索 → Top-K 结果 ↓ [LLM] → 生成回答 Embedding 模型决定了检索的质量上限。 即使 LLM 再强大，如果检索阶段召回的文档不相关，最终回答也会大打折扣。这就是所谓的"垃圾进，垃圾出"（Garbage In, Garbage Out）。 1.2 好的 Embedding 模型的标准 标准 说明 重要性 语义区分度 能区分近义但不同的概念 ⭐⭐⭐⭐⭐ 多语言一致性 同一概念在不同语言下向量接近 ⭐⭐⭐⭐ 长文本处理 支持段落/篇章级 Embedding ⭐⭐⭐⭐ 多粒度 同时支持短查询和长文档 ⭐⭐⭐⭐ 推理速度 编码延迟低 ⭐⭐⭐⭐ 维度适中 存储和检索效率高 ⭐⭐⭐ 开箱即用 无需复杂微调 ⭐⭐⭐ 二、参评模型概览 模型 开发商 参数量 向量维度 最大输入 多语言 开源 BGE-M3 智源研究院 568M 1024 8192 ✅ 100+ 语言 ✅ E5-Mistral-7B Microsoft 7B 4096 32768 ✅ 100+ 语言 ✅ OpenAI text-embedding-3-large OpenAI 未知 3072 (可截断) 8191 ✅ ❌ Cohere embed-v4 Cohere 未知 1536 512 ✅ 100+ 语言 ❌ GTE-Qwen2-7B 阿里云 7B 3584 32768 ✅ ✅ stella-v5-1.5B PDLN 1.5B 1536 16384 ✅ ✅ 三、基准测试对比 3.1 MTEB 排行榜（主流基准） MTEB（Massive Text Embedding Benchmark）是 Embedding 领域最权威的综合评测，覆盖 8 类任务、58 个数据集。 ...