模型选型

Embedding：向量检索的基础 在RAG系统中，Embedding模型的质量直接决定了检索质量的上限。一个好的Embedding模型能让语义相关的文档在向量空间中靠近，不相关的远离。选错了Embedding模型，后面再多优化也白费。 主流Embedding模型 通用模型 BGE系列（智源） bge-large-zh-v1.5：中文最强之一 bge-m3：多语言、多功能（稠密+稀疏+多向量） 维度：768/1024 优势：中文效果好、支持指令微调 E5系列（微软） multilingual-e5-large：多语言 E5-large-v2：英文 维度：1024 优势：多语言一致性好 GTE系列（阿里） gte-large-zh：中文优化 gte-multilingual：多语言 维度：1024 优势：长文本效果好 OpenAI text-embedding-3-large 维度：3072（可降维） 优势：API调用方便 劣势：中文效果不如国产模型 开源vs商用对比 模型 类型 中文MTEB 速度 部署 bge-m3 开源 66.3 快 自部署 gte-large-zh 开源 64.1 中 自部署 text-embedding-3 API 62.5 快 API jina-embeddings-v3 开源 63.8 中 自部署 模型选型维度 1. 语言支持 纯中文场景：bge-large-zh、gte-large-zh 中英混合：bge-m3、multilingual-e5 多语言：bge-m3、E5-multilingual 2. 向量维度 维度越高，表达能力越强，但存储和检索成本也越高： 维度 1M文档存储 检索延迟 表达能力 384 1.5GB 低 基准 768 3GB 中 好 1024 4GB 中 很好 3072 12GB 高 最好 实践建议：768维是性价比最高的选择。 ...

Embedding模型是RAG系统的基石。一个糟糕的Embedding选择，会让你的检索精度在起跑线上就输掉。但面对市面上数十个模型，如何选？本文将从工程实战角度给出系统性的选型框架。 一、Embedding模型的核心评估维度 1.1 维度与信息容量 维度不是越高越好，但太低必然丢信息： 维度范围 适用场景 代表模型 384维 轻量级、边缘部署 all-MiniLM-L6-v2 768维 通用场景 BGE-base, E5-base 1024维 高精度检索 BGE-large, E5-large 1536维 OpenAI生态 text-embedding-3-small 3072维 极高精度 text-embedding-3-large 选择维度的核心权衡：存储成本 × 检索速度 vs 召回精度。1000万条文档，768维FP32需要约30GB存储，而3072维则需要120GB。 1.2 多语言能力 如果你的RAG系统需要处理中英文混合语料，这一点至关重要： 强多语言：BGE-M3（支持100+语言）、E5-mistral-7b-instruct 中英双语优秀：BGE-large-zh-v1.5、m3e-large 英文为主：text-embedding-3-large、Cohere embed-v3 实测发现，在中文法律文本检索任务上，BGE-large-zh-v1.5的NDCG@10比text-embedding-ada-002高出12个百分点。语言适配性是实打实的性能差异。 1.3 最大输入长度 很多开发者忽略了这一点。如果你的文档chunk是512 token，但Embedding模型最大输入只有128 token，截断将导致严重信息丢失： 512 token：大部分开源模型，适合短chunk 2048 token：BGE-M3、jina-embeddings-v2，适合长段落 8192 token：text-embedding-3系列，几乎覆盖所有场景 二、主流模型横向对比 2.1 开源模型第一梯队 BGE-M3（智源）：当前开源Embedding的标杆。三合一特性——稠密检索+稀疏检索+多向量检索，一个模型搞定三种检索范式。在MTEB排行榜上长期霸榜。推荐用于中英文混合场景。 E5-mistral-7b-instruct：基于Mistral-7B微调，使用指令前缀区分查询和文档。精度极高，但模型体积大（14GB），推理延迟较高，不适合实时场景。 GTE-large-zh（阿里达摩院）：在中文场景表现出色，模型大小适中，适合自部署。 jina-embeddings-v2：支持8192 token超长输入，适合长文档场景。德语公司出品，在欧洲语言上表现优异。 2.2 闭源API模型 OpenAI text-embedding-3-large：3072维，支持维度裁剪（可降至256维而性能损失很小）。API调用简单，但成本需注意：每百万token $0.13。 Cohere embed-v3：在多语言场景表现突出，支持搜索优化类型和分类优化类型两种模式。每百万token $0.10。 Voyage AI voyage-2：专注于RAG场景优化，在技术文档检索上表现优异。 2.3 MTEB基准实测对比 在中文MTEB基准（C-MTEB）上的综合得分： ...

引言 Agent（智能体）是2026年AI应用的核心范式。一个优秀的Agent不仅需要强大的语言理解能力，更需要精准的工具调用、可靠的推理、持久的上下文记忆和灵活的规划能力。选择适合Agent的模型，远比选择通用聊天模型复杂。本文将提供一个系统化的Agent模型选型框架。 Agent核心能力需求 1. 工具调用（Tool Calling） Agent最核心的能力是调用外部工具。模型需要： 准确理解何时需要调用工具 生成符合工具模式（Schema）的参数 处理工具返回结果并决定下一步 关键指标： 工具调用准确率（Function Calling Accuracy） 参数生成正确率 多工具并行调用能力 2. 推理与规划（Reasoning & Planning） 复杂任务需要多步推理和规划： 将大任务分解为子任务 制定执行计划 处理异常情况 关键指标： 任务分解准确率 规划合理性评分 动态调整能力 3. 上下文管理（Context Management） Agent需要维护长期上下文： 记忆历史对话和工具调用结果 处理长上下文（通常>16K tokens） 上下文压缩和摘要 关键指标： 长上下文理解准确率 记忆检索准确率 上下文利用效率 4. 代码执行（Code Execution） 许多Agent需要执行代码来完成任务： 生成可执行的代码 理解代码执行结果 调试和修复代码 5. 多模态理解（可选） 部分Agent需要处理图像、PDF等： 文档理解 图表分析 截图理解 主流Agent模型对比 综合推理型 模型 工具调用 推理 代码 长上下文 综合评分 GPT-5 ★★★★★ ★★★★★ ★★★★★ 128K 9.8/10 Claude 4 Opus ★★★★★ ★★★★★ ★★★★☆ 200K 9.7/10 Gemini 2.5 Ultra ★★★★☆ ★★★★☆ ★★★★☆ 2M 9.5/10 GLM-5 ★★★★☆ ★★★★☆ ★★★★☆ 256K 9.3/10 Qwen 3 235B ★★★★☆ ★★★★☆ ★★★★☆ 128K 9.2/10 工具调用特化型 模型 工具调用准确率 并行调用 特点 GPT-5 98.7% ✓ 工具调用之王 Claude 4 Opus 97.5% ✓ 参数生成最准确 GLM-5 96.8% ✓ 中文工具调用最佳 Qwen 3 235B 95.3% ✓ 代码工具强 Gemini 2.5 Ultra 94.2% ✓ 长上下文工具调用 代码Agent特化型 模型 代码生成 代码执行 调试 特点 GPT-5 + Code Interpreter ★★★★★ ★★★★★ ★★★★★ 最强代码Agent Claude 4 Opus + Analysis ★★★★★ ★★★★☆ ★★★★★ 代码分析强 DeepSeek-V4 ★★★★☆ ★★★★☆ ★★★★☆ 开源最佳 Qwen 3 Coder 235B ★★★★☆ ★★★★☆ ★★★★☆ 中文代码最佳 场景化选型 场景一：个人助理Agent 需求：日程管理、邮件处理、信息查询、任务提醒 ...

核心矛盾：检索 vs 全量上下文 随着GPT-5（2M token）、Claude 4（200K token）、Gemini 2.5 Pro（1M token）的发布，“长上下文模型能否替代RAG"成为2026年最热门的技术争论之一。 两种思路的对比： RAG思路：只给LLM看相关的片段 ┌─────────┐ ┌──────────┐ ┌─────────┐ │ 用户查询 │───▶│ 检索Top-K │───▶│ LLM生成 │ └─────────┘ │ 相关文档 │ └─────────┘ └──────────┘ Long Context思路：把所有文档都塞给LLM ┌─────────┐ ┌────────────────────┐ ┌─────────┐ │ 用户查询 │───▶│ 全部文档(长上下文) │───▶│ LLM生成 │ └─────────┘ └────────────────────┘ └─────────┘ 表面上看，长上下文模型让RAG变得多余——既然能塞下整个知识库，为什么还要检索？但实际情况远没有这么简单。 六大维度全面对比 1. 上下文利用率（Context Utilization） LLM对长上下文的中间部分利用率低，这是经过大量研究验证的"Lost in the Middle"现象。 文档位置对注意力的影响（GPT-5实测）： 文档开头 ──► 注意力权重高 ▼ ──► 文档结尾 ▲ ▲ 用户问题 系统提示 容易引用 容易引用 文档中间 ──► 注意力权重低 ◄── 关键信息 ▼ 容易被忽略 实测数据（1000份文档，每篇500字，共500K token上下文）： ...

为什么关注小模型 GPT-5、Claude 4 很强，但每次调用 $0.03-0.15。如果日均 10,000 次请求，月成本 $9,000-45,000。而一个 7B 模型跑在自己的服务器上，月成本 $200（一台 GPU 服务器）。 更重要的是：数据不出内网，零延迟，无限调用。 2026 主流小模型一览 模型 参数量 上下文 中文能力 许可证 Qwen3-7B 7B 128K ★★★★★ Apache 2.0 Llama-3.3-8B 8B 128K ★★★☆ Llama License DeepSeek-V3-Lite 12B 64K ★★★★ MIT Mistral-7B-v0.4 7B 32K ★★☆ Apache 2.0 Gemma-3-9B 9B 128K ★★★☆ Gemma License Yi-1.5-9B 9B 32K ★★★★ Apache 2.0 实测：Agent 任务表现 测试集设计 我们设计了 100 个 Agent 任务，分为 5 类： 信息提取（20题）：从文本中提取结构化信息 多轮对话（20题）：5-10 轮上下文的对话 工具调用（20题）：Function Calling 准确率 推理任务（20题）：多步逻辑推理 代码生成（20题）：Python 函数编写 测试结果 模型 信息提取 多轮对话 工具调用 推理任务 代码生成 总分 Qwen3-7B 95% 88% 82% 75% 78% 83.6% Llama-3.3-8B 90% 85% 78% 72% 82% 81.4% DeepSeek-V3-Lite 92% 86% 80% 78% 85% 84.2% Mistral-7B 85% 80% 70% 65% 75% 75.0% GPT-4o-mini 96% 92% 90% 85% 88% 90.2% 关键发现： ...