模型选型

前言 2026 年，大语言模型竞争进入白热化阶段。GPT-5.5、Claude 4 Sonnet/Gopus、Gemini 2.5 Ultra、DeepSeek V4 相继发布，各家在标准基准测试上的分数你追我赶。然而，基准分数 ≠ 实际体验，本文将从多维度对四款模型进行横评，帮助开发者与企业在真实业务场景中做出更明智的选择。 一、基准测试概览 我们选取了业界最权威的几项基准测试： 基准 领域 说明 MMLU 多学科知识 57 个学科，15,908 道选择题 GPQA 专家级推理 生物、化学、物理研究生水平 HumanEval 代码生成 164 道 Python 编程题 MATH 数学推理 12,500 道竞赛级数学题 MGSM 多语言数学 10 个语言下的数学推理 IFEval 指令遵循 25 种指令维度的精确遵循 Arena-Hard 开放式对齐 真实用户偏好排序 注：以下分数综合自各模型官方发布页、LM Arena 及第三方评测，部分为估算区间。 二、核心基准分数对比 2.1 通用知识与推理（MMLU / GPQA） 模型 MMLU (%) GPQA (%) GPQA-Diamond (%) GPT-5.5 96.8 87.4 82.1 Claude 4 Opus 95.6 84.2 78.6 Gemini 2.5 Ultra 94.9 82.7 75.4 DeepSeek V4 93.1 79.3 71.2 分析： ...

前言 Embedding 模型是 RAG（检索增强生成）系统和语义搜索的基石。一个优秀的 Embedding 模型可以让你的向量数据库"更聪明"地理解语义，大幅提升下游 LLM 的回答质量。2026 年，Embedding 模型领域迎来了多语言、长文本和多粒度的重要进展。本文将全面对比四款主流 Embedding 模型，帮助你为 RAG 系统选择最合适的向量引擎。 一、为什么 Embedding 选型如此重要？ 1.1 Embedding 在 RAG 中的角色 用户查询 → [Embedding 模型] → 查询向量 ↓ 知识库文档 → [Embedding 模型] → 文档向量 → 向量数据库 ↓ 向量相似度检索 → Top-K 结果 ↓ [LLM] → 生成回答 Embedding 模型决定了检索的质量上限。 即使 LLM 再强大，如果检索阶段召回的文档不相关，最终回答也会大打折扣。这就是所谓的"垃圾进，垃圾出"（Garbage In, Garbage Out）。 1.2 好的 Embedding 模型的标准 标准 说明 重要性 语义区分度 能区分近义但不同的概念 ⭐⭐⭐⭐⭐ 多语言一致性 同一概念在不同语言下向量接近 ⭐⭐⭐⭐ 长文本处理 支持段落/篇章级 Embedding ⭐⭐⭐⭐ 多粒度 同时支持短查询和长文档 ⭐⭐⭐⭐ 推理速度 编码延迟低 ⭐⭐⭐⭐ 维度适中 存储和检索效率高 ⭐⭐⭐ 开箱即用 无需复杂微调 ⭐⭐⭐ 二、参评模型概览 模型 开发商 参数量 向量维度 最大输入 多语言 开源 BGE-M3 智源研究院 568M 1024 8192 ✅ 100+ 语言 ✅ E5-Mistral-7B Microsoft 7B 4096 32768 ✅ 100+ 语言 ✅ OpenAI text-embedding-3-large OpenAI 未知 3072 (可截断) 8191 ✅ ❌ Cohere embed-v4 Cohere 未知 1536 512 ✅ 100+ 语言 ❌ GTE-Qwen2-7B 阿里云 7B 3584 32768 ✅ ✅ stella-v5-1.5B PDLN 1.5B 1536 16384 ✅ ✅ 三、基准测试对比 3.1 MTEB 排行榜（主流基准） MTEB（Massive Text Embedding Benchmark）是 Embedding 领域最权威的综合评测，覆盖 8 类任务、58 个数据集。 ...

前言 随着开源大模型的飞速发展，本地部署 LLM 已经从"极客玩具"变成了"企业标配"。无论你是想在 MacBook 上运行个人 AI 助手，还是需要在 GPU 集群上部署高并发推理服务，选择正确的部署框架都至关重要。本文将深度对比 2026 年最主流的四种本地 LLM 部署方案：Ollama、vLLM、LM Studio 和 Hugging Face TGI，从性能、易用性、扩展性和生产适用性四个维度给出全面建议。 一、参评方案概览 方案 开发商 核心语言 推理引擎 目标场景 开源 Ollama Ollama Inc. Go llama.cpp 个人/轻量级 ✅ vLLM UC Berkeley Python PyTorch + CUDA 生产/高并发 ✅ LM Studio Element Labs TypeScript/Electron llama.cpp 桌面 GUI ❌ 免费使用 TGI Hugging Face Rust + Python Transformers + Flash Attention 生产/企业 ✅ 二、核心特性对比 2.1 功能矩阵 特性 Ollama vLLM LM Studio TGI GUI 界面 ❌ CLI ❌ API only ✅ 桌面应用 ❌ API only OpenAI 兼容 API ✅ ✅ ✅ ✅ 多 GPU 支持 ⚠️ 有限 ✅ 张量并行 ❌ ✅ 量化支持 GGUF 全格式 AWQ/GPTQ/FP8 GGUF GPTQ/AWQ/BitsAndBytes PagedAttention ❌ ✅ ❌ ✅ 连续批处理 ❌ ✅ ❌ ✅ 流式输出 ✅ ✅ ✅ ✅ 模型库 Ollama Library HuggingFace HuggingFace HuggingFace Docker 支持 ✅ ✅ ❌ ✅ Kubernetes ⚠️ 社区方案 ✅ 官方 ❌ ✅ 官方 2.2 支持的模型格式 格式 Ollama vLLM LM Studio TGI GGUF ✅ 原生 ❌ ✅ 原生 ❌ Safetensors ⚠️ 转换 ✅ 原生 ⚠️ 转换 ✅ 原生 PyTorch (.bin) ⚠️ 转换 ✅ ⚠️ 转换 ✅ AWQ ❌ ✅ ❌ ✅ GPTQ ❌ ✅ ❌ ✅ FP8 ❌ ✅ ❌ ⚠️ 实验 MLX ⚠️ Mac 专用 ❌ ⚠️ Mac ❌ 三、性能基准对比 3.1 单卡推理性能 测试环境： NVIDIA RTX 4090 (24GB)，模型 Qwen2.5-7B-Instruct，FP16，批量=1 ...

前言 代码大模型已经成为开发者工作流中不可或缺的工具。从简单的代码补全到复杂的系统设计，AI 辅助编程正在重塑软件工程的生产方式。2026 年的代码模型市场，OpenAI Codex、Anthropic Claude Code、DeepSeek-Coder-V3 和 Qwen2.5-Coder 形成了四强格局。本文从基准测试、真实项目测试、开发者体验三个维度进行深度横评。 一、参评模型概览 模型 开发商 基础模型 训练数据规模 上下文 特色 GPT-5.5-Code OpenAI GPT-5.5 10T+ tokens 256K 全栈代码 + Agent Claude Code Anthropic Claude 4 5T+ tokens 200K 代码安全 + 透明推理 DeepSeek-Coder-V3 深度求索 DeepSeek V4 6T+ tokens 128K 极致性价比 + 开源 Qwen2.5-Coder-32B 阿里云 Qwen2.5 3T+ tokens 128K 中文友好 + 开源 二、基准测试对比 2.1 主流代码基准 基准 说明 题目数量 HumanEval OpenAI Python 编程 164 题 HumanEval+ HumanEval 复测（不允许采样） 164 题 MBPP 编程基础题 974 题 MBPP+ MBPP 复测 974 题 LiveCodeBench LeetCode 实时题库 1,000+ 题 BigCodeBench 复杂软件工程任务 1,146 题 CrossCodeBench 多语言评测 12 种语言 Aider-Polyglot 多语言代码转换 38 种语言 2.2 HumanEval 系列对比 模型 HumanEval (%) HumanEval+ (%) MBPP (%) MBPP+ (%) GPT-5.5-Code 96.1 93.8 91.2 88.4 Claude Code 93.8 91.4 89.6 86.7 DeepSeek-Coder-V3 92.3 89.7 88.4 85.2 Qwen2.5-Coder-32B 90.1 86.3 87.2 82.9 2.3 复杂代码任务 模型 BigCodeBench (%) LiveCodeBench (%) CrossCodeBench (%) GPT-5.5-Code 82.4 85.4 84.6 Claude Code 84.7 82.1 81.3 DeepSeek-Coder-V3 79.8 83.7 78.9 Qwen2.5-Coder-32B 76.2 78.4 75.1 BigCodeBench（复杂软件工程任务）中，Claude Code 意外超越了 GPT-5.5-Code，显示其在长程依赖和系统设计任务上的优势。 ...

前言 多模态 AI 是 2026 年最火热的赛道之一。视觉理解不再只是"看图说话"，而是扩展到了视频分析、文档 OCR、图表理解、医学影像、工业检测等深层应用。本文横评目前最具代表性的五款多模态模型：GPT-5o、Gemini 2.0 Pro、LLaVA-1.6-34B、Qwen-VL2-72B 和 InternVL3-Chat-26B，从视觉感知、内容理解、输出质量三个维度给出详细对比。 一、参评模型概览 模型 开发商 视觉编码器 视觉理解分辨率 最大上下文 部署方式 GPT-5o OpenAI 专用 ViT 1280×1280 128K API 云端 Gemini 2.0 Pro Google PaliGemma 3072×3072 1M API 云端 Qwen-VL2-72B 阿里云 Qwen2 ViT 1536×1536 128K 开源可私有 LLaVA-1.6-34B LLaVA Team CLIP ViT-L 448×448 4K 开源可私有 InternVL3-26B 上海 AI Lab InternViT 1792×1792 128K 开源可私有 二、基准测试对比 2.1 主流多模态基准 基准 说明 VQAv2 通用视觉问答 DocVQA 文档理解（扫描件/PDF） ChartQA 图表数据分析 MathVista 数学视觉推理 AI2D 科学图表理解 MMBench 多维度综合评测 VideoMME 视频理解与问答 2.2 基准分数对比 模型 VQAv2 (%) DocVQA (%) ChartQA (%) MathVista (%) MMBench (%) GPT-5o 86.1 92.4 87.8 68.3 85.7 Gemini 2.0 Pro 84.3 89.6 85.2 71.2 83.4 Qwen-VL2-72B 83.7 88.1 82.6 64.9 81.2 LLaVA-1.6-34B 79.8 78.4 74.3 52.1 74.8 InternVL3-26B 85.2 90.3 84.7 66.4 83.9 2.3 视频理解基准 模型 VideoMME (%) EgoSchema (%) ActivityNet (%) 支持时长 GPT-5o 76.4 71.2 68.9 2 小时 Gemini 2.0 Pro 79.8 74.6 72.3 视频原生 Qwen-VL2 62.3 58.4 55.1 30 分钟 LLaVA-1.6 48.7 43.2 41.6 短视频 InternVL3 68.9 64.1 61.8 1 小时 三、分场景深度测试 3.1 场景一：PDF 文档理解与信息提取 测试集： 100 份混合类型的 PDF（合同、学术论文、发票、报告），提取关键字段和信息。 ...

前言 2025 年是推理模型（Reasoning Model）爆发的一年。OpenAI o1 的发布开创了"慢思考"范式，随后 o3、Claude Thinking Mode、DeepSeek-R1 等模型相继涌现。这些模型不再追求即时回复，而是通过隐式思维链（Hidden Chain-of-Thought）在回答前进行深度推理，在数学、编程和科学问题上取得了突破性进展。本文将深度对比这四款推理模型，揭示它们的能力边界和适用场景。 一、推理模型的范式革命 1.1 快思考 vs 慢思考 传统 LLM（快思考） 推理模型（慢思考） ────────────────── ────────────────── 输入 → 直接输出 输入 → [隐式推理] → 输出 延迟: 0.5-2s 延迟: 5-120s 适合: 对话/摘要/翻译 适合: 数学/代码/科学推理 Token 效率高 Token 效率低（大量思考 token） 错误模式: 知识不足 错误模式: 推理路径错误 1.2 推理模型的核心机制 模型 推理机制 思维链可见性 推理 token 预算 工具调用 o1 隐式 CoT + 强化学习 ❌ 不可见 动态分配 ❌ o3 隐式 CoT + 思维树搜索 ⚠️ 摘要可见 可配置 ✅ Claude Thinking 显式 CoT + 自我反思 ✅ 完全可见 可配置 ✅ DeepSeek-R1 隐式 CoT + GRPO 训练 ⚠️ 部分可见 动态分配 ❌ 二、参评模型概览 模型 开发商 基础架构 最大推理步数 发布时间 开源 o1 OpenAI GPT-4o + RL 推理 ~100K tokens 2024.09 ❌ o3 OpenAI GPT-5 + 思维树 ~200K tokens 2025.04 ❌ Claude Thinking Anthropic Claude 4 + 显式思考 ~150K tokens 2025.06 ❌ DeepSeek-R1 深度求索 DeepSeek V4 + GRPO ~120K tokens 2025.01 ✅ 三、基准测试对比 3.1 数学推理 模型 AIME 2025 (%) MATH (%) GPQA-Diamond (%) Putnam 2025 (%) o1 83.3 96.4 78.6 41.2 o3 97.4 99.1 82.1 62.8 Claude Thinking 89.6 97.8 80.4 48.7 DeepSeek-R1 86.7 97.2 71.2 38.4 o3 在 AIME 2025（美国数学邀请赛）中达到 97.4% 的正确率，几乎接近满分。这得益于其思维树搜索机制，可以探索多条推理路径并选择最优解。 ...

前言 大模型军备竞赛背后，小模型（SLM）正悄然改变 AI 落地的游戏规则。7B 参数的模型已经可以在消费级 GPU 上流畅运行，而 1B-3B 参数的模型甚至能在手机、IoT 设备和嵌入式系统中本地运行。本文将全面对比 2026 年最具代表性的 7B 以下小型语言模型，从性能、延迟、内存占用和部署成本四个维度帮助你做出最优选择。 一、为什么选择小模型？ 1.1 小模型的价值方程 大模型 (70B+) 小模型 (≤7B) ───────────────── ───────────────── API 成本: $15/M输入 API 成本: $0.2/M输入 延迟: 800ms+ 延迟: 50-200ms 需云端部署 可本地运行 隐私: 数据需上云 隐私: 完全本地处理 无法离线 完全离线可用 小模型的核心优势： 🚀 低延迟：本地推理，无网络往返 💰 低成本：一次性部署，零边际成本 🔒 强隐私：敏感数据不离设备 ⚡ 离线可用：无网络环境仍可工作 🔧 精细控制：私有化定制，无供应商锁定 1.2 小模型的适用边界 小模型并非万能，以下场景建议选择更大参数模型： 场景 推荐模型规模 理由 复杂推理/数学证明 70B+ 需要更强的链式推理能力 多语言翻译（高要求） 70B+ 小模型翻译质量明显下降 超长上下文摘要 100B+ 128K+ 上下文需要大参数 创意写作（长篇） 70B+ 7B 模型长文本连贯性有限 实时对话/客服 7B 及以下 延迟要求高，小模型足够 本地知识库问答 7B RAG 增强后小模型效果大幅提升 边缘设备推断 3B 及以下 手机/IoT 设备内存限制 二、主流小模型全家福 2.1 模型参数规格对比 模型 参数量 隐藏维度 注意力头 词汇表大小 架构 Qwen2.5-7B 7.07B 3,584 28 151,936 Decoder-only Qwen2.5-3B 2.98B 1,792 16 151,936 Decoder-only LLaMA-3.2-3B 3.2B 3,072 24 128,256 Decoder-only LLaMA-3.2-1B 1.2B 2,048 16 128,256 Decoder-only Phi-3.5-mini 3.8B 3,072 32 32,064 Decoder-only Phi-3.5-small 1.3B 2,048 24 32,064 Decoder-only MiniCPM-3B 2.8B 2,560 24 73,440 Decoder-only Gemma-2-2B 2.0B 2,304 8 256,000 Decoder-only SmolLM2-1.7B 1.7B 1,664 16 49,280 Decoder-only DeepSeek-7B-Lite 6.7B 2,048 32 102,400 MoE 三、性能基准测试 3.1 通用能力评测（MMLU / HellaSwag） 模型 MMLU (%) HellaSwag (%) ARC-C (%) 参数量效率 (MMLU/B) Qwen2.5-7B 76.2 85.1 68.4 10.8 Qwen2.5-3B 63.4 78.2 54.3 21.1 LLaMA-3.2-3B 62.5 77.9 53.8 19.5 LLaMA-3.2-1B 49.2 68.4 38.1 41.0 Phi-3.5-mini 68.1 80.4 58.7 17.9 Phi-3.5-small 58.3 74.1 47.2 44.8 MiniCPM-3B 61.8 76.3 52.9 22.1 Gemma-2-2B 58.9 74.8 48.6 29.5 DeepSeek-7B-Lite 72.4 83.6 64.1 10.8 关键发现： ...

前言 中文大模型在过去两年实现了质的飞跃。从最初对 GPT 的追赶，到如今在中文场景下实现超越，国产模型已经走到了世界前列。本文将对 2026 年最具代表性的五款国产大模型进行深度横评：通义 Qwen3、智谱 GLM-5、深度求索 DeepSeek V4、百度文心一言 5.0，以及字节豆包 Pro。 一、参评模型一览 模型 开发商 最大参数 上下文 特色定位 Qwen3-235B-A22B 阿里云 235B MoE 128K 开源最强，多语言并重 GLM-5-130B 智谱 AI 130B 256K 学术能力强，中文对齐 DeepSeek V4 深度求索 236B MoE 1M 推理能力强，极致性价比 文心一言 5.0 百度 未知 512K 知识增强，文心生态 豆包 Pro-2026 字节跳动 未知 200K 创意写作，对话体验 二、中文基准测试对比 2.1 主流中文评测集 我们选取以下评测集： 基准 说明 C-Eval 52 个中文学科的选择题，覆盖高等教育 CMMLU 67 个主题的中文理解评测 CMNLI 中文自然语言推理 BELLE 中文开放式生成评测 Zhang翡翠 中文写作质量评估 CBia 中文商业信息分析 2.2 基准分数汇总 模型 C-Eval (%) CMMLU (%) CMNLI (%) BELLE (Score) Qwen3 92.4 93.1 91.8 4.6 GLM-5 91.7 92.8 90.3 4.4 DeepSeek V4 90.2 91.5 89.7 4.5 文心一言 5.0 88.6 89.9 87.2 4.7 豆包 86.3 87.4 85.1 4.8 C-Eval / CMMLU 分数越高越好；BELLE 为 1-5 分制，越高越好。 ...

选型维度总览 选型不是看排行榜刷分，是看你的场景到底需要什么。2026 年了，模型多到眼花，但选型维度本质就四个： 维度 关键指标 实际影响 能力上限 推理/代码/创意/多模态 决定能不能做，做得好不好 API 成本 输入/输出价格、缓存折扣 决定跑不跑得起规模化 延迟 TTFT（首 token 延迟）、TPS（每秒 token） 决定用户体验 上下文窗口 最大输入长度、有效检索深度 决定能塞多少文档/历史 2026 年的现实是：顶级模型的差距在缩小，但成本差 3-10 倍。选型的核心不是"谁最强"，而是"谁在你的场景下 ROI 最高"。 主流模型对比表 模型 厂商 上下文 推理能力 代码能力 多模态 中文 GPT-4o OpenAI 128K ★★★★★ ★★★★★ 文+图+音 ★★★★ GPT-4o-mini OpenAI 128K ★★★☆ ★★★★ 文+图 ★★★☆ Claude 3.5 Sonnet Anthropic 200K ★★★★★ ★★★★★ 文+图 ★★★★ Gemini 2.0 Pro Google 2M ★★★★★ ★★★★ 文+图+音+视频 ★★★★ Gemini 2.0 Flash Google 1M ★★★★ ★★★★ 文+图+音+视频 ★★★☆ DeepSeek-V3 DeepSeek 128K ★★★★★ ★★★★★ 文 ★★★★★ Qwen3-Max 阿里 256K ★★★★ ★★★★ 文+图 ★★★★★ Qwen3-72B 阿里 128K ★★★★ ★★★★ 文+图 ★★★★★ GLM-5 智谱 128K ★★★★ ★★★★ 文+图 ★★★★★ 注：星级为基于公开评测和实际使用经验的主观评估，不代表绝对排名。 ...

Embedding 为什么是 RAG 的地基 RAG 系统的效果，50% 取决于 Embedding 质量，30% 取决于检索策略，20% 才是生成模型。但大多数人选型时 90% 的精力花在生成模型上，Embedding 随便选一个。 这是 RAG 效果差的最常见原因。 Embedding 模型决定了你的文本被转换成什么样的向量，而向量是检索的唯一依据。差的 Embedding 会让最相关的文档排不进 top-5，再强的 LLM 也救不回来。 MTEB 排行榜解读 MTEB（Massive Text Embedding Benchmark）是 Embedding 领域最权威的评测。2026 年 6 月最新排名： 排名 模型 均分 检索 重排 聚类 分类 厂商 开源 1 NV-Embed-v2 72.3 71.5 68.2 59.1 73.8 NVIDIA 是 2 bge-m3 71.8 70.9 67.5 58.8 73.2 智源 是 3 E5-Mistral 71.5 70.3 66.8 58.5 72.9 intfloat 是 4 text-embedding-3-large 70.9 69.7 65.5 57.9 72.3 OpenAI 否 5 GTE-Qwen2 70.5 69.2 65.0 57.3 71.8 阿里 是 6 Stella-400M 69.8 68.5 64.2 56.8 71.0 国内社区 是 7 text-embedding-3-small 68.2 67.0 62.8 55.5 69.5 OpenAI 否 8 bge-large-zh 67.5 66.8 61.5 55.0 69.0 智源 是 关键发现： ...