模型选型

核心矛盾：检索 vs 全量上下文 随着GPT-5（2M token）、Claude 4（200K token）、Gemini 2.5 Pro（1M token）的发布，“长上下文模型能否替代RAG"成为2026年最热门的技术争论之一。 两种思路的对比： RAG思路：只给LLM看相关的片段 ┌─────────┐ ┌──────────┐ ┌─────────┐ │ 用户查询 │───▶│ 检索Top-K │───▶│ LLM生成 │ └─────────┘ │ 相关文档 │ └─────────┘ └──────────┘ Long Context思路：把所有文档都塞给LLM ┌─────────┐ ┌────────────────────┐ ┌─────────┐ │ 用户查询 │───▶│ 全部文档(长上下文) │───▶│ LLM生成 │ └─────────┘ └────────────────────┘ └─────────┘ 表面上看，长上下文模型让RAG变得多余——既然能塞下整个知识库，为什么还要检索？但实际情况远没有这么简单。 六大维度全面对比 1. 上下文利用率（Context Utilization） LLM对长上下文的中间部分利用率低，这是经过大量研究验证的"Lost in the Middle"现象。 文档位置对注意力的影响（GPT-5实测）： 文档开头 ──► 注意力权重高 ▼ ──► 文档结尾 ▲ ▲ 用户问题 系统提示 容易引用 容易引用 文档中间 ──► 注意力权重低 ◄── 关键信息 ▼ 容易被忽略 实测数据（1000份文档，每篇500字，共500K token上下文）： ...

为什么需要Reranker？ RAG检索分两个阶段： 第一阶段：召回（Recall） Embedding向量检索，快速从百万文档中召回Top-K（K=20-50） 优势：速度快（<50ms） 劣势：精度有限（Embedding模型容量小，语义理解浅） 第二阶段：精排（Precision） Cross-Encoder Reranker对Top-K重新打分排序 优势：精度高（Cross-Encoder能深度理解query-doc关系） 劣势：速度慢（需对每个候选单独计算） Reranker的本质：用更强的模型对初筛结果做精排，用少量延迟换取显著的精度提升。 Cross-Encoder vs Bi-Encoder Bi-Encoder (Embedding模型)： Query ──► Encoder ──► [向量] ◄── Encoder ◄── Document │ 余弦相似度 快但浅 Cross-Encoder (Reranker)： [Query, Document] ──► Encoder ──► 相关性分数 慢但深 Cross-Encoder将query和document拼接后一起输入模型，能捕捉两者间的细粒度交互关系，这是Bi-Encoder做不到的。 三大Reranker深度对比 1. Cohere Reranker import cohere co = cohere.Client(api_key="your-key") def cohere_rerank(query, documents, top_n=5): results = co.rerank( model="rerank-v3.5", query=query, documents=documents, top_n=top_n, ) reranked = [] for result in results.results: reranked.append({ "document": documents[result.index], "relevance_score": result.relevance_score, "index": result.index, }) return reranked 特点： ...

向量数据库市场2026格局 2026年，向量数据库市场已经从"百模大战"进入"四强争霸"阶段。Milvus、Pinecone、Weaviate、Qdrant四家占据了80%以上的市场份额。但选型依然困难——因为它们各有鲜明的特点，没有"万能解"。 市场定位概览 数据库 类型 部署方式 适合规模 核心优势 Milvus 开源 自建/云托管 亿级+ 分布式架构、生态丰富 Pinecone SaaS 全托管 万-亿级 零运维、Serverless Weaviate 开源 自建/云托管 万-千万级 混合检索、模块化 Qdrant 开源 自建/云托管 万-亿级 Rust高性能、轻量 核心能力对比 1. 索引算法支持 特性 Milvus Pinecone Weaviate Qdrant HNSW ✅ ✅(内部) ✅ ✅ IVF ✅ ❌ ❌ ❌ DiskANN ✅ ❌ ❌ ❌ Flat(暴力) ✅ ❌ ✅ ✅ 量化(PQ/SQ) ✅ ✅(内部) ✅(BQ) ✅(SQ) 动态索引 ✅ ✅ ✅ ✅ 2. 混合检索能力 # === Milvus 混合检索 === from pymilvus import Collection collection.search( data=[query_vector], anns_field="embedding", param={"metric_type": "COSINE", "params": {"nprobe": 16}}, expr='source == "tech_blog" and date > "2026-01-01"', # 标量过滤 limit=10, ) # === Pinecone 混合检索 === from pinecone import Pinecone index.query( vector=query_vector, filter={"source": {"$eq": "tech_blog"}, "date": {"$gt": "2026-01-01"}}, top_k=10, include_metadata=True, ) # === Weaviate 混合检索（原生支持BM25+Vector） === import weaviate result = client.query.get("Document", ["content", "title"]) \ .with_hybrid( query="GraphRAG实践指南", alpha=0.5, # 0=纯BM25, 1=纯向量 ) \ .with_limit(10) \ .do() # === Qdrant 混合检索 === from qdrant_client import QdrantClient client.search( collection_name="documents", query_vector=query_vector, query_filter={ "must": [ {"key": "source", "match": {"value": "tech_blog"}}, {"key": "date", "range": {"gt": "2026-01-01"}}, ] }, limit=10, ) Weaviate的混合检索最原生——BM25和向量检索在同一引擎内完成，无需额外组件。其他三家都需要额外搭建BM25检索器。 ...

向量数据库市场现状 2026年，向量数据库市场已从百花齐放进入成熟整合阶段。Zilliz Cloud的托管Milvus、Serverless化的Pinecone、开源的Qdrant和Weaviate成为了最主流的四个选择。 本文基于100万-1亿向量规模的标准基准测试，从性能、成本、易用性、适用场景四个维度进行深度对比。 基准测试环境 测试规模：100万向量（768维float32，GPT-4o embeddings模拟） 测试指标：QPS（每秒查询数）、P99延迟、召回率 硬件配置：AWS c6i.4xlarge（16核32G内存） 测试工具：ann-benchmarks + 内部压测工具 性能基准测试 吞吐量对比（QPS） 数据库 HNSW (M=16) HNSW (M=32) IVF-Flat IVF-PQ Qdrant 8,420 6,180 12,500 35,000 Weaviate 5,200 3,800 8,200 22,000 Milvus 4,800 3,200 11,800 38,000 Pinecone 3,100 2,200 5,500 15,000 延迟对比（P99延迟，单位ms） 数据库 top-10 top-50 top-100 召回率@top-10 Qdrant 18ms 45ms 78ms 97.2% Weaviate 32ms 68ms 110ms 96.8% Milvus 38ms 82ms 145ms 98.1% Pinecone 52ms 95ms 160ms 97.5% 关键发现：Qdrant在小规模数据上性能最优，Milvus在大规模数据上召回率更稳定。 1亿向量扩展性测试 数据库 索引构建时间 内存占用 磁盘占用 QPS (top-50) Milvus 45min 48GB 120GB 1,800 Qdrant 52min 42GB 110GB 2,100 Weaviate 38min 55GB 135GB 1,200 Pinecone 云托管 云托管 云托管 950 各数据库详解 1. Milvus（推荐：大规模生产环境） 优点： ...

2026年，多模态大模型已经成为AI行业的标准配置——没有视觉理解能力的模型，就像没有眼睛的人一样残缺。GPT-5 Vision、Claude 5 Vision、Gemini 3 Pro、Qwen-VL Max四大旗舰多模态模型在视觉理解领域展开了激烈竞争。本文将通过多维度基准测试和真实场景评估，给出2026年最全面的多模态模型横评。 一、参评模型概览 模型 机构 参数规模 上下文长度 图像分辨率 视频支持 API价格(每百万Token) GPT-5 Vision OpenAI 未公开(估计~3T MoE) 128万 4K原生 60分钟@30fps $15输入/$60输出 Claude 5 Vision Anthropic 未公开(估计~2T MoE) 200万 2K原生 30分钟@24fps $12输入/$48输出 Gemini 3 Pro Vision Google 未公开(估计~2.5T MoE) 100万 4K原生 120分钟@60fps $10输入/$40输出 Qwen-VL Max 阿里通义 未公开(估计~1T MoE) 128万 1080p 30分钟@30fps ¥40输入/¥120输出 二、视觉理解基准测试 测试一：文档理解与OCR (DocVQA 2.0) DocVQA 2.0是2026年升级版的文档理解基准，包含100,000+张复杂文档（手写、表格、图表、扫描件、多语言混合）。 模型 准确率 手写识别 表格解析 图表理解 多语言 GPT-5 Vision 94.3% 91.2% 96.8% 93.1% 92.5% Claude 5 Vision 93.8% 92.8% 95.2% 94.7% 93.1% Gemini 3 Pro 92.1% 89.5% 94.3% 92.0% 91.0% Qwen-VL Max 90.5% 88.3% 92.1% 89.8% 95.8% 分析：GPT-5 Vision在整体准确率上领先，特别是在表格解析方面几乎完美。Claude 5 Vision在手写识别和图表理解上略胜一筹。Qwen-VL Max在多语言文档（中英日韩混合）上有明显优势。 ...

Embedding 模型是 RAG 系统的基石——检索质量的上限由 Embedding 模型决定。2026 年，中文 Embedding 模型迎来了新一轮洗牌。BGE、Qwen Embedding、Cohere 等新老玩家竞争激烈。本文将在 5 个中文检索场景中实测 12 款主流 Embedding 模型，给出最权威的排行。 一、评测设计 参评模型 模型 维度 最大长度 类型 许可证 BGE-M3 1024 8192 开源 MIT BGE-large-zh-v2 1024 512 开源 MIT Qwen3-Embedding-8B 4096 32768 开源 Apache 2.0 Qwen3-Embedding-0.6B 1024 32768 开源 Apache 2.0 GLM-5-Embedding 1024 8192 开源 Apache 2.0 text-embedding-3-large 3072 8191 闭源 OpenAI API Cohere Embed v4 1024 512 闭源 Cohere API Jina Embeddings v3 1024 8192 开源 CC-BY-NC Voyage-3 1024 32000 闭源 Voyage API GTE-Qwen2-7B 3584 32768 开源 Apache 2.0 Stella-1.5B 1536 131072 开源 MIT E5-Mistral-7B 4096 32768 开源 MIT 评测数据集 数据集 说明 样本数 MTEB-zh 中文通用检索 50,000 DuReader 百度真实问答 100,000 CMRC2018 中文阅读理解 20,000 法律检索 中国法律条文 15,000 医学问答 中文医学QA 12,000 评测指标 NDCG@10：归一化折损累积增益（主指标） Recall@5：Top-5 召回率 MRR：平均倒数排名 二、综合排行 排名 模型 综合 NDCG@10 MTEB-zh DuReader CMRC 法律 医学 1 Qwen3-Embedding-8B 85.3 88.2 86.5 83.7 82.1 85.8 2 Voyage-3 83.7 85.3 84.8 82.1 80.5 85.5 3 text-embedding-3-large 82.8 84.5 83.7 81.3 78.8 85.3 4 BGE-M3 81.5 83.2 82.5 80.1 78.3 83.2 5 GTE-Qwen2-7B 81.2 82.8 81.7 79.5 77.8 83.8 6 GLM-5-Embedding 80.3 82.5 81.2 78.8 79.5 79.2 7 Jina Embeddings v3 79.8 81.3 80.5 77.8 76.2 82.8 8 Stella-1.5B 78.5 80.7 79.3 76.5 75.8 79.8 9 E5-Mistral-7B 78.2 80.2 78.8 76.1 75.2 80.3 10 Qwen3-Embedding-0.6B 77.8 79.8 78.5 75.8 74.8 79.8 11 BGE-large-zh-v2 75.3 77.5 76.2 73.5 72.1 76.8 12 Cohere Embed v4 74.8 76.2 75.5 72.8 70.5 78.5 关键发现： ...

Google 的 Gemma 系列一直走"小而精"的路线。2026 年发布的 Gemma 3 系列包含 1B、4B、12B、27B 四个尺寸，定位于端侧与 Edge 部署。与 Gemini 4.0 的全面旗舰路线不同，Gemma 3 专注轻量场景。但在这个赛道上，它要面对 Qwen3.5-3B、Phi-4-mini 等强敌。本文将评估 Gemma 3 的真实能力与市场定位。 一、Gemma 3 系列概览 模型 参数量 上下文 多模态 许可证 定位 Gemma 3-1B 1.0B 32K 否 Gemma License 微型设备 Gemma 3-4B 3.8B 64K 是 Gemma License 手机/平板 Gemma 3-12B 12B 128K 是 Gemma License Edge/工作站 Gemma 3-27B 27B 128K 是 Gemma License 服务器 架构特点 GQA 注意力：分组查询注意力，平衡效率与质量 知识蒸馏：从 Gemini 3.5 Pro 蒸馏知识 Responsible AI：内置安全对齐训练 多模态统一：4B 以上版本原生支持图像输入 二、能力评测 通用能力 基准 Gemma3-27B Gemma3-12B Gemma3-4B Gemma3-1B MMLU-Pro 82.6 78.3 70.8 58.2 GPQA Diamond 64.8 58.5 52.1 38.7 MATH-500 65.4 58.7 50.3 35.2 HumanEval+ 86.3 81.5 79.2 65.8 与同级别竞品对比 4B 级别 基准 Gemma3-4B Qwen3.5-3B Phi-4-mini Llama4-Tiny MMLU-Pro 70.8 72.3 71.5 69.4 HumanEval+ 79.2 81.5 83.1 77.8 MATH-500 50.3 55.8 52.1 48.5 多语言 75.2 72.8 65.3 68.7 分析：Gemma3-4B 在综合能力上略弱于 Qwen3.5-3B 和 Phi-4-mini，但多语言能力（覆盖 140+ 语言）是独特优势。 ...

2026 年，智谱 AI 的 GLM-5 系列已发展为一个覆盖 3B 到 130B、通用到专业、文本到多模态的完整模型家族。作为中国大模型阵营的代表力量之一，GLM-5 系列在开源生态、Agent 能力和多模态领域展现出独特竞争力。本文将对 GLM-5 全系列进行深度评测，揭示其在国产大模型中的真实定位。 一、GLM-5 系列全景 模型 参数量 类型 上下文 许可证 定位 GLM-5-Plus 130B 通用 128K 开源 旗舰 GLM-5-Base 62B 通用 128K 开源 标准 GLM-5-Edge 3.1B 轻量 32K 开源 端侧 GLM-5-Vision 130B 多模态 64K 开源 视觉 GLM-5-Coder 62B 代码 128K 开源 编程 GLM-5-Agent 62B Agent 128K 开源 工具调用 GLM-5-Reasoner 62B 推理 64K 开源 深度思考 智谱的布局策略清晰：以 62B 为基础尺寸，衍生出不同专业能力的变体，130B 作为旗舰，3B 覆盖端侧。这种"一树多枝"的策略使微调和部署成本大幅降低。 二、基础能力评测 通用能力（GLM-5-Plus vs 竞品） 基准 GLM-5-Plus DeepSeek V4 Qwen3.5-72B Llama 4 Maverick MMLU-Pro 87.3 90.2 89.5 88.1 C-Eval Pro 92.5 93.1 92.8 85.7 CMMLU 2.0 90.8 91.5 90.2 83.5 GPQA Diamond 72.6 78.3 76.1 74.5 MATH-500 75.2 82.6 80.3 77.8 分析：GLM-5-Plus 在中文基准上与 DeepSeek V4 差距仅 0.6-1 分，但在推理类基准（GPQA、MATH）上差距较大（6-7 分）。这表明 GLM-5 的知识覆盖优秀但深度推理仍是弱项。 ...

2026 年过半，三大 AI 巨头的旗舰模型已全部亮牌。OpenAI 的 GPT-5.5 凭借原生多模态与强化推理站稳王座，Anthropic 的 Claude Opus 4.1 以超长上下文与代码能力紧追不舍，Google 的 Gemini 4.0 预告虽未正式发布但 Alpha 测试数据已流出。本文将从十个维度进行系统性对比，给出 2026 年中期最权威的旗舰模型选型参考。 一、模型基本信息对比 维度 GPT-5.5 Claude Opus 4.1 Gemini 4.0 (Preview) 发布日期 2026-03-15 2026-04-22 2026-06（Alpha） 参数规模 未公开（估计 ~3T MoE） 未公开（估计 ~2T MoE） 未公开（估计 ~4T MoE） 上下文窗口 256K（Pro 版 1M） 500K（企业版 2M） 2M（原生） 原生多模态 文本+图像+音频+视频 文本+图像+音频 文本+图像+音频+视频 定价（输入/百万token） $5/$15 $4/$12 $3.5/$10.5（预估） 二、推理能力对比 在 MMLU-Pro、GPQA Diamond、AIME 2026 三项基准测试中，三大旗舰展现出截然不同的能力画像。 MMLU-Pro（学术综合） GPT-5.5：92.3%，较 GPT-5 的 89.1% 提升明显 Claude Opus 4.1：91.7%，紧追不舍 Gemini 4.0 Preview：90.8%（Alpha 数据） GPT-5.5 在人文社科与自然科学领域均保持微弱领先，但 Claude 在法律与医学细分项上反超。Gemini 4.0 虽总分略低，但在多语言学术测试中独占鳌头。 ...

在美中两国主导的大模型竞赛中，欧洲需要一个旗手。Mistral AI 从 2023 年的 Mistral 7B 起步，到 2026 年的 Mistral Large 3（123B），已成为欧洲 AI 最有分量的代表。但在 DeepSeek V4 和 Qwen3.5 的强势崛起下，Mistral Large 3 是否还能保持竞争力？本文将通过全面评测给出答案。 一、Mistral Large 3 概览 维度 Mistral Large 3 前代 Large 2 提升 参数量 123B 123B 持平 架构 Dense + GQA Dense + GQA 延续 上下文 128K 128K 持平 多模态 文本+图像 纯文本 新增 训练数据 18T 14T +29% 许可证 Apache 2.0 商业许可 全面开源 关键变化： 全面转向 Apache 2.0 开源——这是一个战略性决定 新增多模态能力（Pixtral 架构融合） 训练数据增加 29%，多语言覆盖扩展到 30+ 语言 Function Calling 原生支持 二、基础能力评测 通用能力 基准 Mistral Large 3 DeepSeek V4 Qwen3.5-72B Llama 4 Maverick GPT-5.5 MMLU-Pro 85.9 90.2 89.5 88.1 92.3 GPQA Diamond 69.8 78.3 76.1 74.5 83.6 MATH-500 71.8 82.6 80.3 77.8 89.2 HumanEval+ 89.7 94.1 93.8 92.3 96.1 MT-Bench 8.7 9.1 9.0 8.8 9.3 分析：Mistral Large 3 在所有基准上均落后于 DeepSeek V4 和 Qwen3.5-72B，差距在 4-11 分之间。最显著的差距在数学推理（-10.8 分 vs DeepSeek V4）。 ...