模型选型

引言 智谱AI是国内最早的大模型创业公司之一，其GLM系列一直备受关注。2026年1月，智谱发布了GLM-5系列，这是其旗舰模型的重大升级。GLM-5在保持强大中文能力的同时，在推理、多模态和Agent能力上都有显著提升。本文将对GLM-5系列进行全面评测。 产品线概览 GLM-5系列包含多个版本： 模型 参数量 架构 上下文 定价 GLM-5-Plus ~130B MoE MoE 256K $0.6/$2 per 1M GLM-5 ~130B MoE MoE 256K $0.4/$1.2 per 1M GLM-5-Long ~130B MoE MoE 1M $0.8/$2.4 per 1M GLM-5-4B 4B Dense 128K $0.05/$0.1 per 1M GLM-5-1B 1B Dense 32K 开源免费 核心技术 1. GLM-5 MoE架构 GLM-5采用MoE架构，核心技术特点： 双路径注意力：Dual Attention Mechanism，同时处理短程和长程依赖 词元变换：Token-level Transform，优化稀有词元的表示 长上下文：支持1M上下文版本，适用于超长文档处理 2. 多模态能力 GLM-5实现了端到端的多模态理解： 图像、文档、视频帧的统一理解 原生支持中文OCR和手写识别 多轮多模态对话 3. Agent框架 GLM-5内置了智谱自研的Agent框架： 内置工具调用和代码执行 支持多Agent协作 记忆和知识图谱整合 基准测试 通用能力 基准 GLM-5-Plus GLM-5 GPT-5.5 Qwen3.5 Max DeepSeek V4 MMLU-Pro 85.2% 83.5% 87.3% 82.1% 83.2% C-Eval 89.2% 88.5% 86.2% 90.3% 89.7% CMMLU 88.5% 87.2% 83.1% 89.1% 88.3% BBH 84.5% 83.2% 89.2% 81.5% 86.5% GLM-5在中文基准上表现出色，仅次于Qwen3.5 Max。Plus版本在英文MMLU-Pro上达到85.2%，已进入第一梯队。 ...

引言 作为欧洲最具影响力的AI公司，Mistral AI在2026年2月发布了Mistral Large 3。在美中两大AI阵营主导的格局下，Mistral凭借其独特的"开放权重+欧洲合规"定位，在企业级市场占据了一席之地。本文将对Mistral Large 3进行全面评测，分析其在技术能力和合规优势上的表现。 模型概览 参数 Mistral Large 3 Mistral Large 2 参数量 123B 123B 架构 Dense Dense 上下文窗口 256K tokens 128K tokens 最大输出 16K tokens 8K tokens 模态支持 文本+图像 仅文本 推理模式 Standard / Thinking Standard 知识截止 2026年1月 2025年3月 许可证 Mistral Research License + 商业许可 同左 Mistral Large 3保持了123B的Dense架构，未跟随MoE潮流。这一选择有利有弊：Dense模型在推理一致性上更优，但效率不如MoE。 技术创新 1. Seeing-Through架构 Mistral Large 3引入了"Seeing-Through"视觉理解架构，无需单独的视觉编码器： 图像直接通过patch embedding输入语言模型 支持2K分辨率图像输入 推理时视觉理解不增加额外延迟 2. Thinking模式 类似Claude的Extended Thinking，Mistral Large 3新增了Thinking模式： 在回答前进行结构化思考 思考过程可选输出（便于调试） 思考时间：2-30秒（根据复杂度自适应） 3. 多语言优化 ...

引言 2026年3月，阿里云通义千问发布了Qwen3.5系列，这是继Qwen3之后的重大升级。Qwen3.5系列最引人注目的不是单一模型的性能，而是其覆盖从0.5B到千亿参数的全栈产品线布局。从端侧到云端，从通用到专业，Qwen3.5构建了一个完整的大模型生态。本文将对Qwen3.5系列进行全面评测，重点关注其差异化竞争力。 产品线概览 Qwen3.5系列包含多个规格，满足不同场景需求： 模型 参数量 上下文 定位 开源 Qwen3.5 Max ~600B (MoE) 256K 旗舰模型 否 Qwen3.5 Plus ~110B 128K 高性能主力 否 Qwen3.5 Turbo ~30B 128K 高性价比 否 Qwen3.5 72B 72B 128K 开源旗舰 是 Qwen3.5 14B 14B 64K 中型开源 是 Qwen3.5 7B 7B 32K 通用开源 是 Qwen3.5 3B 3B 32K 端侧部署 是 Qwen3.5 0.5B 0.5B 8K IoT/嵌入式 是 这种"全覆盖"的产品策略使Qwen3.5能够服务于从云端API到手机端侧的完整场景。 Qwen3.5 Max 旗舰评测 通用基准 MMLU-Pro： Qwen3.5 Max：82.1% GPT-5.5：87.3% DeepSeek V4：83.2% Claude Opus 4.1：85.7% C-Eval（中文综合评测）： ...

引言 2026年2月，DeepSeek发布了V4系列模型，延续了一贯的"高性能+极致性价比"策略。作为2025年轰动全球的DeepSeek V3的继任者，V4在架构创新、推理能力和多语言理解上都有重大突破。本文将从多个维度对DeepSeek V4进行全面评测，深入分析这款代表国产大模型最高水准的作品。 模型架构与规格 核心架构 DeepSeek V4采用了全新的MoE（Mixture of Experts）架构： 参数 DeepSeek V4 DeepSeek V3 总参数量 671B 671B 激活参数 37B 37B 专家数量 256 256 共享专家 4 2 上下文窗口 256K tokens 128K tokens 最大输出 16K tokens 8K tokens 知识截止 2026年1月 2025年7月 V4保持了与V3相同的总参数量和激活参数，但通过架构优化实现了更强的能力。这种"参数不变、能力提升"的策略体现了DeepSeek在训练效率上的持续进步。 MLA 2.0 V4引入了升级版的多头潜在注意力（MLA 2.0）： KV缓存压缩：比V3进一步减少35%的KV缓存大小 长序列效率：在256K上下文下推理速度提升28% 质量保持：信息损失比V3降低50% 推理模式 DeepSeek V4提供三种推理模式： Fast模式：快速响应，适合日常对话 Reasoning模式：深度思考，对标o3和GPT-5.5 Reasoning DeepSeek-R2模式：超深度推理，专为复杂数学和科学问题设计 基准测试 通用能力 MMLU-Pro： DeepSeek V4：83.2% GPT-5.5：87.3% Claude Opus 4.1：85.7% Qwen3.5 Max：82.1% BBH（BigBench Hard）： DeepSeek V4：86.5% GPT-5.5：89.2% Claude Opus 4.1：87.8% 在通用知识理解上，DeepSeek V4已经非常接近第一梯队，差距从V3时期的5-8%缩小到2-4%。 ...

引言 Anthropic在2026年1月发布了Claude Opus 4.1，这是其旗舰模型的重要升级。作为在代码工程和Agent能力上长期领先的大模型，Claude Opus 4.1进一步巩固了其在复杂推理任务上的优势。本文将从多个维度进行全面评测，帮助开发者和企业做出选型决策。 模型规格 参数 Claude Opus 4.1 Claude Opus 4.0 上下文窗口 500K tokens 200K tokens 最大输出 32K tokens 8K tokens 模态支持 文本+图像输入/输出 文本+图像输入 推理模式 Standard / Extended Thinking Standard 知识截止 2026年1月 2025年6月 API定价 $15/$75 per 1M tokens $15/$75 per 1M tokens Opus 4.1最大的改进在于上下文窗口的大幅扩展和Extended Thinking推理模式的加入。虽然定价仍属高端，但能力提升显著。 核心能力评测 代码工程能力 Claude Opus 4.1在代码领域一直是标杆，此次评测我们使用了多个基准： SWE-Bench Pro（企业级软件工程）： Claude Opus 4.1：47.6% GPT-5.5：44.2% DeepSeek V4：38.5% Llama 4 405B：33.1% 在SWE-Bench Pro上，Claude Opus 4.1继续领跑。我们深入分析了其优势来源：Opus 4.1在理解大型代码库结构、跨文件依赖追踪和复杂bug定位方面表现卓越。 MultiPL-E（多语言代码生成）： ...

引言 2026年3月，OpenAI正式发布GPT-5.5，这是自GPT-5以来的重大迭代更新。GPT-5.5在推理能力、多模态理解、工具调用和长上下文处理方面均有显著提升。本文将从多个维度对GPT-5.5进行全面深度评测，涵盖学术基准、真实任务和实际开发场景，并与Claude Opus 4.1、Gemini 3.5 Pro、DeepSeek V4等主流模型进行横向对比。 模型概览 GPT-5.5的核心规格如下： 参数 GPT-5.5 GPT-5 上下文窗口 512K tokens 256K tokens 最大输出 64K tokens 32K tokens 模态支持 文本+图像+音频输入，文本+图像输出 文本+图像输入，文本输出 推理模式 Standard / Reasoning / Deep Reasoning Standard / Reasoning 知识截止 2026年2月 2025年8月 API定价(输入/输出) $3/$12 per 1M tokens $5/$15 per 1M tokens 值得注意的是，GPT-5.5在降价的同时提升了性能，这反映了2026年大模型市场竞争的白热化程度。 学术基准测试 通用能力 我们在多个权威基准上测试了GPT-5.5的表现： MMLU-Pro（专业知识理解）： GPT-5.5：87.3% Claude Opus 4.1：85.7% Gemini 3.5 Pro：86.1% DeepSeek V4：83.2% GPT-5.5在MMLU-Pro上取得了当前最高分，尤其在法学、医学和工程学领域表现突出。 GPQA Diamond（研究生级推理）： GPT-5.5：72.4%（Deep Reasoning模式） Claude Opus 4.1：69.8% Gemini 3.5 Pro：67.5% 在GPQA Diamond这一极具挑战性的基准上，GPT-5.5的Deep Reasoning模式展现出了明显优势，比标准模式高出约15个百分点。 ...

为什么Embedding模型决定RAG上限？ RAG系统的检索质量 = Embedding模型质量 × 向量库能力 × 检索策略。后两者已经相对成熟，Embedding模型成为拉开差距的关键变量。 一个差的Embedding模型，即使后面Reranker再强也无力回天——因为你根本检索不到相关文档。 测评模型清单 我们选取了2026年主流的10款Embedding模型进行测评： 模型 提供方 维度 参数量 最大长度 部署方式 text-embedding-3-large OpenAI 3072 - 8192 API text-embedding-3-small OpenAI 1536 - 8192 API BGE-large-zh-v1.5 BAAI 1024 326M 512 本地 BGE-M3 BAAI 1024 568M 8192 本地 GTE-large-zh 阿里 1024 326M 512 本地 GTE-Qwen2-7B-Instruct 阿里 3584 7B 32K 本地 Jina-embeddings-v3 Jina AI 1024 570M 8192 本地/API Cohere-embed-v4 Cohere 1024 - 512 API E5-large-v2 Microsoft 1024 335M 512 本地 UAE-large-v1 WhereIsAI 1024 335M 512 本地 测评设置 数据集 数据集 文档数 查询数 特点 C-Pack 100万 5000 中文通用检索基准 MTEB-ZH 10万 1000 中文检索评估集 行业知识库(自建) 5万 500 金融、法律、医疗领域 多跳QA(自建) 1万 200 需要多文档关联 评估指标 # 主指标：NDCG@10 (归一化折损累积增益) # 辅助指标：Recall@5, Recall@10, MRR@10 def evaluate_retrieval(qrels, results, k=10): """计算检索评估指标""" ndcg_scores = [] recall_scores = [] mrr_scores = [] for query_id, retrieved_docs in results.items(): relevant_docs = qrels.get(query_id, {}) # NDCG@k ndcg = compute_ndcg(retrieved_docs[:k], relevant_docs) ndcg_scores.append(ndcg) # Recall@k recall = len(set(retrieved_docs[:k]) & set(relevant_docs)) / len(relevant_docs) recall_scores.append(recall) # MRR@k mrr = compute_mrr(retrieved_docs[:k], relevant_docs) mrr_scores.append(mrr) return { "ndcg@10": np.mean(ndcg_scores), "recall@5": np.mean([compute_recall(r, q, 5) for r, q in zip(results, qrels)]), "recall@10": np.mean(recall_scores), "mrr@10": np.mean(mrr_scores), } 测评结果 总体排名（NDCG@10） 排名 模型 C-Pack MTEB-ZH 行业库 多跳QA 平均分 1 GTE-Qwen2-7B 0.823 0.801 0.782 0.698 0.801 2 text-embedding-3-large 0.815 0.792 0.768 0.671 0.787 3 BGE-M3 0.808 0.785 0.771 0.662 0.782 4 Jina-embeddings-v3 0.801 0.778 0.759 0.658 0.774 5 BGE-large-zh-v1.5 0.792 0.771 0.752 0.641 0.764 6 GTE-large-zh 0.788 0.768 0.748 0.635 0.760 7 Cohere-embed-v4 0.781 0.762 0.741 0.628 0.753 8 E5-large-v2 0.772 0.754 0.732 0.615 0.743 9 text-embedding-3-small 0.761 0.748 0.725 0.608 0.736 10 UAE-large-v1 0.752 0.738 0.718 0.601 0.727 关键发现 1. GTE-Qwen2-7B一骑绝尘 GTE-Qwen2-7B作为首款基于大语言模型（7B参数）的Embedding模型，在长文本理解上优势明显： ...

核心矛盾：检索 vs 全量上下文 随着GPT-5（2M token）、Claude 4（200K token）、Gemini 2.5 Pro（1M token）的发布，“长上下文模型能否替代RAG"成为2026年最热门的技术争论之一。 两种思路的对比： RAG思路：只给LLM看相关的片段 ┌─────────┐ ┌──────────┐ ┌─────────┐ │ 用户查询 │───▶│ 检索Top-K │───▶│ LLM生成 │ └─────────┘ │ 相关文档 │ └─────────┘ └──────────┘ Long Context思路：把所有文档都塞给LLM ┌─────────┐ ┌────────────────────┐ ┌─────────┐ │ 用户查询 │───▶│ 全部文档(长上下文) │───▶│ LLM生成 │ └─────────┘ └────────────────────┘ └─────────┘ 表面上看，长上下文模型让RAG变得多余——既然能塞下整个知识库，为什么还要检索？但实际情况远没有这么简单。 六大维度全面对比 1. 上下文利用率（Context Utilization） LLM对长上下文的中间部分利用率低，这是经过大量研究验证的"Lost in the Middle"现象。 文档位置对注意力的影响（GPT-5实测）： 文档开头 ──► 注意力权重高 ▼ ──► 文档结尾 ▲ ▲ 用户问题 系统提示 容易引用 容易引用 文档中间 ──► 注意力权重低 ◄── 关键信息 ▼ 容易被忽略 实测数据（1000份文档，每篇500字，共500K token上下文）： ...

为什么需要Reranker？ RAG检索分两个阶段： 第一阶段：召回（Recall） Embedding向量检索，快速从百万文档中召回Top-K（K=20-50） 优势：速度快（<50ms） 劣势：精度有限（Embedding模型容量小，语义理解浅） 第二阶段：精排（Precision） Cross-Encoder Reranker对Top-K重新打分排序 优势：精度高（Cross-Encoder能深度理解query-doc关系） 劣势：速度慢（需对每个候选单独计算） Reranker的本质：用更强的模型对初筛结果做精排，用少量延迟换取显著的精度提升。 Cross-Encoder vs Bi-Encoder Bi-Encoder (Embedding模型)： Query ──► Encoder ──► [向量] ◄── Encoder ◄── Document │ 余弦相似度 快但浅 Cross-Encoder (Reranker)： [Query, Document] ──► Encoder ──► 相关性分数 慢但深 Cross-Encoder将query和document拼接后一起输入模型，能捕捉两者间的细粒度交互关系，这是Bi-Encoder做不到的。 三大Reranker深度对比 1. Cohere Reranker import cohere co = cohere.Client(api_key="your-key") def cohere_rerank(query, documents, top_n=5): results = co.rerank( model="rerank-v3.5", query=query, documents=documents, top_n=top_n, ) reranked = [] for result in results.results: reranked.append({ "document": documents[result.index], "relevance_score": result.relevance_score, "index": result.index, }) return reranked 特点： ...

向量数据库市场2026格局 2026年，向量数据库市场已经从"百模大战"进入"四强争霸"阶段。Milvus、Pinecone、Weaviate、Qdrant四家占据了80%以上的市场份额。但选型依然困难——因为它们各有鲜明的特点，没有"万能解"。 市场定位概览 数据库 类型 部署方式 适合规模 核心优势 Milvus 开源 自建/云托管 亿级+ 分布式架构、生态丰富 Pinecone SaaS 全托管 万-亿级 零运维、Serverless Weaviate 开源 自建/云托管 万-千万级 混合检索、模块化 Qdrant 开源 自建/云托管 万-亿级 Rust高性能、轻量 核心能力对比 1. 索引算法支持 特性 Milvus Pinecone Weaviate Qdrant HNSW ✅ ✅(内部) ✅ ✅ IVF ✅ ❌ ❌ ❌ DiskANN ✅ ❌ ❌ ❌ Flat(暴力) ✅ ❌ ✅ ✅ 量化(PQ/SQ) ✅ ✅(内部) ✅(BQ) ✅(SQ) 动态索引 ✅ ✅ ✅ ✅ 2. 混合检索能力 # === Milvus 混合检索 === from pymilvus import Collection collection.search( data=[query_vector], anns_field="embedding", param={"metric_type": "COSINE", "params": {"nprobe": 16}}, expr='source == "tech_blog" and date > "2026-01-01"', # 标量过滤 limit=10, ) # === Pinecone 混合检索 === from pinecone import Pinecone index.query( vector=query_vector, filter={"source": {"$eq": "tech_blog"}, "date": {"$gt": "2026-01-01"}}, top_k=10, include_metadata=True, ) # === Weaviate 混合检索（原生支持BM25+Vector） === import weaviate result = client.query.get("Document", ["content", "title"]) \ .with_hybrid( query="GraphRAG实践指南", alpha=0.5, # 0=纯BM25, 1=纯向量 ) \ .with_limit(10) \ .do() # === Qdrant 混合检索 === from qdrant_client import QdrantClient client.search( collection_name="documents", query_vector=query_vector, query_filter={ "must": [ {"key": "source", "match": {"value": "tech_blog"}}, {"key": "date", "range": {"gt": "2026-01-01"}}, ] }, limit=10, ) Weaviate的混合检索最原生——BM25和向量检索在同一引擎内完成，无需额外组件。其他三家都需要额外搭建BM25检索器。 ...