模型选型

前言 中文大模型在过去两年实现了质的飞跃。从最初对 GPT 的追赶，到如今在中文场景下实现超越，国产模型已经走到了世界前列。本文将对 2026 年最具代表性的五款国产大模型进行深度横评：通义 Qwen3、智谱 GLM-5、深度求索 DeepSeek V4、百度文心一言 5.0，以及字节豆包 Pro。 一、参评模型一览 模型 开发商 最大参数 上下文 特色定位 Qwen3-235B-A22B 阿里云 235B MoE 128K 开源最强，多语言并重 GLM-5-130B 智谱 AI 130B 256K 学术能力强，中文对齐 DeepSeek V4 深度求索 236B MoE 1M 推理能力强，极致性价比 文心一言 5.0 百度 未知 512K 知识增强，文心生态 豆包 Pro-2026 字节跳动 未知 200K 创意写作，对话体验 二、中文基准测试对比 2.1 主流中文评测集 我们选取以下评测集： 基准 说明 C-Eval 52 个中文学科的选择题，覆盖高等教育 CMMLU 67 个主题的中文理解评测 CMNLI 中文自然语言推理 BELLE 中文开放式生成评测 Zhang翡翠 中文写作质量评估 CBia 中文商业信息分析 2.2 基准分数汇总 模型 C-Eval (%) CMMLU (%) CMNLI (%) BELLE (Score) Qwen3 92.4 93.1 91.8 4.6 GLM-5 91.7 92.8 90.3 4.4 DeepSeek V4 90.2 91.5 89.7 4.5 文心一言 5.0 88.6 89.9 87.2 4.7 豆包 86.3 87.4 85.1 4.8 C-Eval / CMMLU 分数越高越好；BELLE 为 1-5 分制，越高越好。 ...

选型维度总览 选型不是看排行榜刷分，是看你的场景到底需要什么。2026 年了，模型多到眼花，但选型维度本质就四个： 维度 关键指标 实际影响 能力上限 推理/代码/创意/多模态 决定能不能做，做得好不好 API 成本 输入/输出价格、缓存折扣 决定跑不跑得起规模化 延迟 TTFT（首 token 延迟）、TPS（每秒 token） 决定用户体验 上下文窗口 最大输入长度、有效检索深度 决定能塞多少文档/历史 2026 年的现实是：顶级模型的差距在缩小，但成本差 3-10 倍。选型的核心不是"谁最强"，而是"谁在你的场景下 ROI 最高"。 主流模型对比表 模型 厂商 上下文 推理能力 代码能力 多模态 中文 GPT-4o OpenAI 128K ★★★★★ ★★★★★ 文+图+音 ★★★★ GPT-4o-mini OpenAI 128K ★★★☆ ★★★★ 文+图 ★★★☆ Claude 3.5 Sonnet Anthropic 200K ★★★★★ ★★★★★ 文+图 ★★★★ Gemini 2.0 Pro Google 2M ★★★★★ ★★★★ 文+图+音+视频 ★★★★ Gemini 2.0 Flash Google 1M ★★★★ ★★★★ 文+图+音+视频 ★★★☆ DeepSeek-V3 DeepSeek 128K ★★★★★ ★★★★★ 文 ★★★★★ Qwen3-Max 阿里 256K ★★★★ ★★★★ 文+图 ★★★★★ Qwen3-72B 阿里 128K ★★★★ ★★★★ 文+图 ★★★★★ GLM-5 智谱 128K ★★★★ ★★★★ 文+图 ★★★★★ 注：星级为基于公开评测和实际使用经验的主观评估，不代表绝对排名。 ...

Embedding 为什么是 RAG 的地基 RAG 系统的效果，50% 取决于 Embedding 质量，30% 取决于检索策略，20% 才是生成模型。但大多数人选型时 90% 的精力花在生成模型上，Embedding 随便选一个。 这是 RAG 效果差的最常见原因。 Embedding 模型决定了你的文本被转换成什么样的向量，而向量是检索的唯一依据。差的 Embedding 会让最相关的文档排不进 top-5，再强的 LLM 也救不回来。 MTEB 排行榜解读 MTEB（Massive Text Embedding Benchmark）是 Embedding 领域最权威的评测。2026 年 6 月最新排名： 排名 模型 均分 检索 重排 聚类 分类 厂商 开源 1 NV-Embed-v2 72.3 71.5 68.2 59.1 73.8 NVIDIA 是 2 bge-m3 71.8 70.9 67.5 58.8 73.2 智源 是 3 E5-Mistral 71.5 70.3 66.8 58.5 72.9 intfloat 是 4 text-embedding-3-large 70.9 69.7 65.5 57.9 72.3 OpenAI 否 5 GTE-Qwen2 70.5 69.2 65.0 57.3 71.8 阿里 是 6 Stella-400M 69.8 68.5 64.2 56.8 71.0 国内社区 是 7 text-embedding-3-small 68.2 67.0 62.8 55.5 69.5 OpenAI 否 8 bge-large-zh 67.5 66.8 61.5 55.0 69.0 智源 是 关键发现： ...

Reranker 在 RAG 中的角色 标准 RAG 流程：查询 → Embedding 检索 top-100 → LLM 生成。但 Embedding 检索的 recall 高、precision 低，top-5 里经常混入不相关结果。 Reranker 的作用：对 Embedding 检索返回的 top-100 做二次精排，把真正相关的结果提到前面。 查询 → Embedding 检索 (top-100) → Reranker 精排 (top-5) → LLM 召回阶段 精排阶段 生成阶段 效果量化：加入 Reranker 后，RAG 系统的回答准确率通常提升 10-25%。这不是锦上添花，是质变。 Bi-Encoder vs Cross-Encoder 两种架构是 Reranker 选型的核心决策。 Bi-Encoder（双编码器） 查询 → Encoder → 向量 A 文档 → Encoder → 向量 B 相似度 = cos(A, B) 查询和文档独立编码，可以预计算文档向量 速度快，适合大规模召回 但查询和文档没有交互，精度有限 Cross-Encoder（交叉编码器） [CLS] 查询 [SEP] 文档 [SEP] → Transformer → 相关性分数 查询和文档拼接后一起输入 Transformer 每一层都有 attention 交互，精度高 但无法预计算，每次都要前向传播 对比 维度 Bi-Encoder Cross-Encoder 精度 中等 高 速度 快 (ANN 检索) 慢 (逐对计算) 可预计算 是 否 适合阶段 召回 精排 典型模型 BGE / E5 BGE-Reranker / Cohere Rerank 最佳实践：Bi-Encoder 做召回（top-100），Cross-Encoder 做精排（top-5）。这是业界标准两阶段检索架构。 ...

STT 关键指标 STT（Speech-to-Text）选型看五个核心指标： 指标 含义 行业标准 WER Word Error Rate，词错误率 中文 < 5% 为优秀 延迟 实时流式 vs 离线，TTFB 实时 < 300ms 成本 每小时音频价格 < $1/小时为经济 多语言 支持语言数和质量 中文+英文+主要语种 鲁棒性 噪声/口音/远场表现 实际场景必备 2026 年 STT 领域的关键趋势：开源模型（Whisper v4、SenseVoice）的 WER 已经低于商业 API，但在流式实时识别和极端噪声场景上，商业方案仍有优势。 主流平台对比 平台 中文 WER 英文 WER 流式延迟 成本 多语言 开源 Whisper v4 (OpenAI) 3.8% 2.9% 不支持流式 免费 99种 是 Azure Speech 4.2% 3.5% 200ms $1/小时 100+ 否 OpenAI Whisper API 3.8% 2.9% 不支持流式 $0.006/分钟 99种 否(API) Alexa ASR 5.1% 4.3% 150ms 闭源 8种 否 SenseVoice 3.2% 4.1% 250ms 免费 50+ 是 Paraformer 3.5% 5.2% 200ms 免费 2种 是 火山引擎 ASR 3.8% 4.0% 180ms ¥0.4/小时 20+ 否 各平台深度分析 Whisper v4 OpenAI 2025 年发布的 Whisper v4 是开源 STT 的标杆。 ...

TTS 关键指标 TTS（Text-to-Speech）选型不是只听"好不好听"，而是五个维度的综合权衡： 指标 含义 实际影响 自然度 (MOS) Mean Opinion Score，1-5 分 用户能否区分 AI 和真人 延迟 (TTFB) 首音频延迟 实时对话 < 300ms，有声书 < 2s 成本 每千字符/每万字符价格 规模化是否跑得起 多语言 支持语言数量和质量 全球化场景刚需 可控性 SSML/情感/语速/音高 精细控制能力 2026 年 TTS 领域的最大变化：开源模型（CosyVoice、ChatTTS）的质量已经逼近商业方案，声音克隆从"能听"变成了"听不出"。 主流平台对比 平台 自然度 (MOS) TTFB 成本 多语言 声音克隆 SSML ElevenLabs V3 4.7 400ms $0.30/千字符 29种 ★★★★★ 有限 Azure TTS 4.3 150ms $0.016/千字符 140+ ★★★☆ ★★★★★ OpenAI TTS-1 HD 4.5 500ms $0.015/千字符 50+ ❌ ❌ Edge-TTS 4.0 200ms 免费 40+ ❌ 部分 CosyVoice 2 4.5 250ms 免费(自部署) 5种 ★★★★☆ 有限 ChatTTS 4.2 300ms 免费(自部署) 2种 ❌ ❌ 火山引擎 TTS 4.4 180ms ¥0.01/千字符 20+ ★★★★ ★★★★ 各平台深度分析 ElevenLabs V3 2026 年 TTS 领域的标杆。V3 版本在自然度上几乎到了 4.7/5 的天花板。 ...

VLM 为什么重要 2026 年，纯文本 LLM 已经不够用了。文档智能、医疗影像、工业质检、自动驾驶、内容审核——这些场景都需要模型"看懂"图片。视觉语言模型（VLM）是连接视觉和语言的桥梁。 VLM 的核心能力：把图像转化为语义理解，然后用自然语言回答关于图像的问题。 VLM 架构演进 第一代：拼接架构（2023） 图像 → CNN/ViT 提取特征 → 拼接到文本 embedding → LLM 处理 代表：LLaVA、MiniGPT-4。简单粗暴，但图像特征和文本特征对齐差。 第二代：交叉注意力（2024） 图像 → ViT → 交叉注意力层融合到 LLM 的每一层 代表：Flamingo、Qwen-VL。更精细的特征融合，但对齐训练复杂。 第三代：原生多模态（2025-2026） 图像 patch → 直接作为 token 序列输入 LLM（统一架构） 代表：GPT-4o、Gemini 2.0。图像和文本在同一个 transformer 中处理，端到端训练。这是当前最优方案。 架构对比： 架构 图文对齐 训练复杂度 推理效率 代表模型 拼接 差 低 高 LLaVA 交叉注意力 中 高 中 Qwen-VL 原生多模态 优 极高 中 GPT-4o, Gemini 主流 VLM 对比 模型 厂商 图像分辨率 视频支持 音频支持 多图理解 中文OCR GPT-4o OpenAI 2048×2048 ✅ ✅ ✅ ★★★★ Claude 3.5 Anthropic 1568×1568 ❌ ❌ ✅ ★★★☆ Gemini 2.0 Pro Google 4096×4096 ✅ (1h) ✅ ✅ ★★★★ Gemini 2.0 Flash Google 4096×4096 ✅ (10min) ✅ ✅ ★★★☆ Qwen3-VL 阿里 4K ✅ ❌ ✅ ★★★★★ GLM-5V 智谱 2K ✅ ❌ ✅ ★★★★★ 关键能力深度测试 OCR / 文字识别 模型 中文印刷体 中文手写体 复杂排版 表格识别 公式识别 GPT-4o 95% 78% 88% 85% 82% Gemini 2.0 Pro 93% 75% 90% 88% 85% Qwen3-VL 97% 82% 92% 90% 80% GLM-5V 96% 80% 90% 87% 78% 结论：Qwen3-VL 在中文 OCR 上领先，得益于训练数据中大量中文文档。Gemini 在表格和公式识别上有优势。 ...

核心矛盾 2026 年了，所有人都在追旗舰模型。但现实是：你花 $10/M tokens 调 GPT-4o 做的情感分析，用 $0.15/M 的 GPT-4o-mini 准确率只低 2%。那 2% 值 66 倍的价格吗？ 大模型和小模型不是替代关系，是分工关系。关键是搞清楚什么场景该用什么。 小模型的核心优势 1. 成本碾压 模型 级别 输入价格 输出价格 相对成本 GPT-4o 旗舰 $2.50/M $10.00/M 1x GPT-4o-mini 小模型 $0.15/M $0.60/M 1/17 Gemini 2.0 Flash 小模型 $0.075/M $0.30/M 1/33 Qwen3-72B 中型 $0.05/M $0.15/M 1/67 GLM-5 小模型 $0.10/M $0.30/M 1/33 假设日均 1000 万 tokens 输入 + 200 万 tokens 输出： GPT-4o：$45/天 → $1,350/月 GPT-4o-mini：$2.7/天 → $81/月 Gemini Flash：$1.35/天 → $40.5/月 一年下来差了 16 万人民币。 这还不算规模放大后的倍数效应。 ...

DeepSeek 模型家族概览 DeepSeek（深度求索）凭借极具性价比的 MoE 架构和创新的推理模型设计，成为开源大模型领域的重要力量。其模型矩阵分为两条产品线： 通用模型线：DeepSeek-V2 → V3 → V3.1，面向对话、写作、代码等通用任务 推理模型线：DeepSeek-R1，专攻数学、逻辑、科学推理 两者共享基础架构，但在训练策略和推理行为上有本质区别。 DeepSeek-V3 架构解析 DeepSeek-V3 是总参数 671B、激活参数 37B 的 MoE 模型，其架构创新点值得关注： MLA（Multi-head Latent Attention） V3 使用了 DeepSeek 自创的 MLA 注意力机制，替代标准 MHA： class MultiHeadLatentAttention(nn.Module): def __init__(self, d_model, n_heads, d_latent=512): self.down_proj = nn.Linear(d_model, d_latent) # 降维到潜在空间 self.up_proj = nn.Linear(d_latent, d_model) # 升维回原空间 self.n_heads = n_heads # KV Cache 只需存储 d_latent 维度，而非 d_model 维度 # 显存占用减少约 93% def forward(self, x): latent = self.down_proj(x) # [batch, seq, d_latent] # 推理时只需缓存 latent 向量 k_v = self.up_proj(latent) # 按需恢复 return attention(q=x, k=k_v, v=k_v) MLA 的核心优势：KV Cache 压缩率高达 93%，这意味着相同显存可以服务更多并发请求。 细粒度 MoE 路由 256 个路由专家 + 1 个共享专家 每个 token 激活 8 个专家 采用无辅助损失的负载均衡策略，避免专家坍塌 训练效率 DeepSeek-V3 仅用 14.8T tokens 训练，总训练成本约 557 万美元（2048 张 H800），远低于同级别模型。这得益于： ...

智谱 GLM 系列全景 智谱 AI 的 GLM（General Language Model）系列是国内最早的大模型路线之一。从 2023 年 ChatGLM-6B 开源引爆社区，到 GLM-4 系列成为国产大模型第一梯队，智谱走出了一条差异化的技术路线。 GLM 系列的核心产品线： 产品线 模型 定位 开源状态 通用语言 GLM-4-Plus / GLM-4-Air / GLM-4-Flash 对话、写作、分析 部分开源 视觉多模态 GLM-4V / GLM-4V-Plus 图像理解、OCR API 代码生成 CodeGeeX-4 代码补全、生成 开源 推理模型 GLM-Zero 数学、逻辑推理 API 嵌入 Embedding-3 向量表示 API GLM-4 架构解析 GLM-4 采用 Prefix-LM 架构，这是它与 Llama、GPT 等纯 Decoder 模型的核心区别。 Prefix-LM vs Decoder-only 标准 Decoder-only: Token → Token → Token → Token（全因果注意力） Prefix-LM (GLM): [Prefix 部分: 双向注意力] → [生成部分: 因果注意力] 用户输入的 prompt 可以双向交互理解，再自回归生成答案 这种设计让 GLM 在理解任务上具有天然优势——prompt 部分的双向注意力使得模型对用户意图的理解更深入。 ...