模型选型

Embedding模型是RAG系统的基石。一个糟糕的Embedding选择，会让你的检索精度在起跑线上就输掉。但面对市面上数十个模型，如何选？本文将从工程实战角度给出系统性的选型框架。 一、Embedding模型的核心评估维度 1.1 维度与信息容量 维度不是越高越好，但太低必然丢信息： 维度范围 适用场景 代表模型 384维 轻量级、边缘部署 all-MiniLM-L6-v2 768维 通用场景 BGE-base, E5-base 1024维 高精度检索 BGE-large, E5-large 1536维 OpenAI生态 text-embedding-3-small 3072维 极高精度 text-embedding-3-large 选择维度的核心权衡：存储成本 × 检索速度 vs 召回精度。1000万条文档，768维FP32需要约30GB存储，而3072维则需要120GB。 1.2 多语言能力 如果你的RAG系统需要处理中英文混合语料，这一点至关重要： 强多语言：BGE-M3（支持100+语言）、E5-mistral-7b-instruct 中英双语优秀：BGE-large-zh-v1.5、m3e-large 英文为主：text-embedding-3-large、Cohere embed-v3 实测发现，在中文法律文本检索任务上，BGE-large-zh-v1.5的NDCG@10比text-embedding-ada-002高出12个百分点。语言适配性是实打实的性能差异。 1.3 最大输入长度 很多开发者忽略了这一点。如果你的文档chunk是512 token，但Embedding模型最大输入只有128 token，截断将导致严重信息丢失： 512 token：大部分开源模型，适合短chunk 2048 token：BGE-M3、jina-embeddings-v2，适合长段落 8192 token：text-embedding-3系列，几乎覆盖所有场景 二、主流模型横向对比 2.1 开源模型第一梯队 BGE-M3（智源）：当前开源Embedding的标杆。三合一特性——稠密检索+稀疏检索+多向量检索，一个模型搞定三种检索范式。在MTEB排行榜上长期霸榜。推荐用于中英文混合场景。 E5-mistral-7b-instruct：基于Mistral-7B微调，使用指令前缀区分查询和文档。精度极高，但模型体积大（14GB），推理延迟较高，不适合实时场景。 GTE-large-zh（阿里达摩院）：在中文场景表现出色，模型大小适中，适合自部署。 jina-embeddings-v2：支持8192 token超长输入，适合长文档场景。德语公司出品，在欧洲语言上表现优异。 2.2 闭源API模型 OpenAI text-embedding-3-large：3072维，支持维度裁剪（可降至256维而性能损失很小）。API调用简单，但成本需注意：每百万token $0.13。 Cohere embed-v3：在多语言场景表现突出，支持搜索优化类型和分类优化类型两种模式。每百万token $0.10。 Voyage AI voyage-2：专注于RAG场景优化，在技术文档检索上表现优异。 2.3 MTEB基准实测对比 在中文MTEB基准（C-MTEB）上的综合得分： ...

Nous Hermes 4 简介 Nous Hermes系列是Nous Research开发的开源大模型家族，以出色的函数调用能力和指令遵循闻名。2026年，Hermes 4成为开源Agent开发的热门选择。 核心定位 开源免费：Apache 2.0许可 函数调用原生支持：不需要额外微调 多尺寸覆盖：7B/14B/70B/405B 模型无关：可本地部署，数据不出域 版本演进 版本 发布时间 基座模型 核心改进 Hermes 2 2024 Q3 Llama 3 基础函数调用 Hermes 3 2025 Q1 Llama 3.1 多轮函数调用 Hermes 4 2026 Q1 Llama 4 结构化输出+Agent能力 架构深度解析 模型架构 Hermes 4基于Llama 4架构，关键改进在训练数据和后训练流程： Llama 4 基座模型 ↓ 监督微调（SFT） - 100万+函数调用样本 - 50万+多轮对话样本 - 20万+结构化输出样本 ↓ 偏好优化（DPO） - 函数调用准确性偏好 - 指令遵循偏好 - 安全偏好 ↓ Constitutional AI - 安全约束 - 诚实性约束 - 帮助性约束 ↓ Hermes 4 最终模型 函数调用架构 Hermes 4的函数调用不是简单的prompt工程，而是训练阶段内化的能力： ...

引言 Agent（智能体）是2026年AI应用的核心范式。一个优秀的Agent不仅需要强大的语言理解能力，更需要精准的工具调用、可靠的推理、持久的上下文记忆和灵活的规划能力。选择适合Agent的模型，远比选择通用聊天模型复杂。本文将提供一个系统化的Agent模型选型框架。 Agent核心能力需求 1. 工具调用（Tool Calling） Agent最核心的能力是调用外部工具。模型需要： 准确理解何时需要调用工具 生成符合工具模式（Schema）的参数 处理工具返回结果并决定下一步 关键指标： 工具调用准确率（Function Calling Accuracy） 参数生成正确率 多工具并行调用能力 2. 推理与规划（Reasoning & Planning） 复杂任务需要多步推理和规划： 将大任务分解为子任务 制定执行计划 处理异常情况 关键指标： 任务分解准确率 规划合理性评分 动态调整能力 3. 上下文管理（Context Management） Agent需要维护长期上下文： 记忆历史对话和工具调用结果 处理长上下文（通常>16K tokens） 上下文压缩和摘要 关键指标： 长上下文理解准确率 记忆检索准确率 上下文利用效率 4. 代码执行（Code Execution） 许多Agent需要执行代码来完成任务： 生成可执行的代码 理解代码执行结果 调试和修复代码 5. 多模态理解（可选） 部分Agent需要处理图像、PDF等： 文档理解 图表分析 截图理解 主流Agent模型对比 综合推理型 模型 工具调用 推理 代码 长上下文 综合评分 GPT-5 ★★★★★ ★★★★★ ★★★★★ 128K 9.8/10 Claude 4 Opus ★★★★★ ★★★★★ ★★★★☆ 200K 9.7/10 Gemini 2.5 Ultra ★★★★☆ ★★★★☆ ★★★★☆ 2M 9.5/10 GLM-5 ★★★★☆ ★★★★☆ ★★★★☆ 256K 9.3/10 Qwen 3 235B ★★★★☆ ★★★★☆ ★★★★☆ 128K 9.2/10 工具调用特化型 模型 工具调用准确率 并行调用 特点 GPT-5 98.7% ✓ 工具调用之王 Claude 4 Opus 97.5% ✓ 参数生成最准确 GLM-5 96.8% ✓ 中文工具调用最佳 Qwen 3 235B 95.3% ✓ 代码工具强 Gemini 2.5 Ultra 94.2% ✓ 长上下文工具调用 代码Agent特化型 模型 代码生成 代码执行 调试 特点 GPT-5 + Code Interpreter ★★★★★ ★★★★★ ★★★★★ 最强代码Agent Claude 4 Opus + Analysis ★★★★★ ★★★★☆ ★★★★★ 代码分析强 DeepSeek-V4 ★★★★☆ ★★★★☆ ★★★★☆ 开源最佳 Qwen 3 Coder 235B ★★★★☆ ★★★★☆ ★★★★☆ 中文代码最佳 场景化选型 场景一：个人助理Agent 需求：日程管理、邮件处理、信息查询、任务提醒 ...

引言 2024年OpenAI发布Sora震撼了世界，但Sora并未立即开放。2026年，视频生成领域已经百花齐放，从OpenAI的Sora 2到快手的可灵3，从Google的Veo 3到Runway的Gen-4，视频生成质量已经达到令人惊叹的水平。本文将全面对比当前主流视频生成模型。 视频生成能力分类 按生成方式 文生视频（T2V）：从文字描述生成视频 图生视频（I2V）：将静态图片转为动态视频 视频生视频（V2V）：对现有视频进行风格转换或编辑 视频延展（Video Extension）：延长视频时长 按应用场景 短片创作：生成5-30秒的创意短片 广告素材：商业广告视频自动生成 特效制作：电影级视觉特效 动画生成：卡通/动漫风格视频 主流模型对比 商业模型 模型 厂商 最大时长 分辨率 帧率 特点 Sora 2 OpenAI 60s 1080p 30fps 综合最强 Veo 3 Google 60s 1080p 30fps 写实最强 Gen-4 Runway 20s 1080p 24fps 编辑能力强 可灵3 快手 30s 1080p 30fps 中文最佳 Pika 2 Pika 15s 720p 24fps 动画风格 Luma Dream 2 Luma 10s 720p 24fps 创意效果好 开源模型 模型 最大时长 分辨率 特点 Open-Sora 2 15s 720p 开源Sora复现 CogVideoX 2 10s 720p 智谱开源 HunyuanVideo 10s 720p 腾讯开源 Mochi 2 10s 720p Genmo开源 核心能力对比 视频质量 在人类评估中（5分制）： ...

引言 图像生成AI在2026年已经从"能看"进化到"好看"的阶段。无论是写实照片、艺术插画还是商业设计，AI生成的图像质量已经达到专业级水平。本文将全面对比当前主流的图像生成模型。 主流模型概览 商业API DALL-E 4 (OpenAI) — 综合能力最强 Imagen 4 (Google) — 写实照片最强 Midjourney v7 — 艺术风格最佳 Firefly 3 (Adobe) — 商用最安全 Ideogram 3 — 文字渲染最强 开源模型 Stable Diffusion 4 (Stability AI) — 开源生态之王 FLUX 2 (Black Forest Labs) — 开源质量最佳 SDXL Turbo 2 — 实时生成 Kolors 2 (快手) — 中文理解强 CogView 4 (智谱AI) — 中文文生图 核心能力对比 图像质量 (FID分数越低越好) 模型 FID↓ 分辨率 生成速度 FLUX 2 8.2 2048×2048 2s DALL-E 4 9.5 2048×2048 3s Midjourney v7 9.8 2048×2048 4s Imagen 4 8.8 2048×2048 3s SD 4 10.5 2048×2048 2s Kolors 2 11.2 1024×1024 1.5s CogView 4 11.8 1024×1024 2s 文本理解 提示词理解的准确度： ...

引言 语音AI在2026年迎来了质的飞跃。语音识别准确率已超越人类速记员，语音合成的自然度达到以假乱真的水平，实时语音对话的延迟降至200ms以内。本文将全面对比当前主流的语音AI模型。 语音识别（ASR） 主流模型 模型 厂商 WER(英文) WER(中文) 特点 Whisper 4 OpenAI 2.1% 3.5% 综合最强 Gemini Audio Google 3.5% 4.2% 多语言 Paraformer v3 阿里 - 2.8% 中文最佳 SenseVoice v3 阿里 3.2% 3.1% 情感识别 WeNet 3 出门问问 4.5% 4.1% 开源 Whisper 3 OpenAI 4.8% 6.2% 开源经典 中文ASR对比 在真实场景（会议、电话、播客）的中文识别： Paraformer v3: WER 2.8% — 中文ASR之王，对方言和口音适应性强 SenseVoice v3: WER 3.1% — 能同时识别语音内容情感 Whisper 4: WER 3.5% — 综合能力强 WeNet 3: WER 4.1% — 开源最佳 实时性对比 模型 延迟(ms) 流式支持 适用场景 Paraformer v3 150 ✓ 实时字幕 Whisper 4 streaming 300 ✓ 会议记录 Gemini Audio 200 ✓ 实时对话 SenseVoice v3 180 ✓ 情感分析 方言与口音 在方言识别上： ...

引言 随着AI应用场景的不断扩展，越来越多的需求要求模型在终端设备上运行——手机、平板、车载系统、IoT设备甚至可穿戴设备。边缘部署不仅能解决延迟和隐私问题，还能大幅降低云端成本。2026年，端侧AI模型已经从"能跑"进化到"好用"的阶段。本文将为你提供全面的边缘部署选型指南。 边缘部署的价值与挑战 核心价值 低延迟：无需网络往返，毫秒级响应 隐私保护：数据不离开设备 离线可用：无网络环境下正常运行 成本低：无API调用费用 个性化：模型可以根据用户数据本地微调 主要挑战 算力受限：移动设备的计算能力有限 内存限制：手机通常只有8-16GB内存 功耗约束：持续推理会消耗电池 存储空间：模型需要适配设备存储 散热问题：长时间运行会导致过热 边缘设备分类 手机端 平台 AI算力(TOPS) 可用内存 推荐模型规模 iPhone 16 Pro 35 8-12GB ≤4B (INT4) 骁龙8 Gen4 45 12-16GB ≤7B (INT4) 天玑9500 40 12-16GB ≤7B (INT4) 边缘计算设备 设备 AI算力(TOPS) 内存 推荐模型规模 Jetson Orin Nano 40 8GB ≤7B (INT4) Jetson Orin NX 100 16GB ≤13B (INT4) 树莓派5 ~5 8GB ≤3B (INT4) RK3588 6 16GB ≤3B (INT4) 车载平台 平台 AI算力(TOPS) 内存 推荐模型规模 NVIDIA Drive Thor 1000 64GB ≤34B (INT4) 高通SA8650 48 32GB ≤13B (INT4) 地平线J6 128 32GB ≤13B (INT4) 端侧模型选型 1-3B级别：超轻量 适用场景：简单对话、文本分类、基础问答 ...

引言 模型量化是LLM部署中最重要的优化手段之一。通过降低模型参数的精度，可以大幅减少显存占用和提升推理速度。但量化也带来了精度损失的代价。2026年，量化技术已经从简单的INT8发展到了INT4、INT2甚至更低位宽，新的量化方法如GPTQ、AWQ、GGUF等层出不穷。本文将通过实测数据揭示量化对性能的真实影响。 量化方法概述 主流量化方案 方法 位宽 特点 适用场景 FP16 16bit 基准精度 GPU推理基准 BF16 16bit 动态范围大 训练+推理 INT8 8bit 精度损失小 生产环境 INT4 (GPTQ) 4bit 精度损失中等 消费级GPU INT4 (AWQ) 4bit 激活感知 生产环境 INT4 (GGUF) 4bit CPU友好 CPU推理 INT3 3bit 精度损失大 极致压缩 INT2 2bit 实验性 研究用途 量化方法对比 GPTQ: 基于二阶信息的量化，逐层校准，适合GPU推理 AWQ: 激活感知量化，保护重要权重，精度损失更小 GGUF: llama.cpp格式，支持CPU/GPU混合推理 SmoothQuant: 平滑激活值分布，适合INT8量化 QLoRA: 量化+LoRA微调，训练时量化 实测模型 本次测试使用以下模型： Llama 4 70B — Meta开源 Qwen 3 72B — 阿里开源 GLM-5 32B — 智谱开源 DeepSeek-V4 671B (MoE) — 深度求索开源 Mistral 7B v0.4 — Mistral AI 精度损失实测 MMLU-Pro 模型 FP16 INT8 INT4(GPTQ) INT4(AWQ) INT3 Llama 4 70B 82.1% 81.3%(-0.8) 78.5%(-3.6) 79.8%(-2.3) 72.3%(-9.8) Qwen 3 72B 84.5% 83.7%(-0.8) 81.2%(-3.3) 82.1%(-2.4) 75.6%(-8.9) GLM-5 32B 86.2% 85.3%(-0.9) 82.5%(-3.7) 83.8%(-2.4) 76.8%(-9.4) DeepSeek-V4 85.8% 85.1%(-0.7) 82.3%(-3.5) 83.5%(-2.3) 76.2%(-9.6) Mistral 7B 65.2% 64.3%(-0.9) 61.5%(-3.7) 62.8%(-2.4) 55.3%(-9.9) 关键发现： ...

引言 2026年的多模态模型已经远超"看图说话"的阶段。现代多模态模型能够理解图像中的细粒度细节、分析视频的时序信息、处理音频的情感特征，甚至跨模态推理。本文将为你提供系统化的多模态模型选型指南。 多模态能力分类 感知能力 图像理解：物体识别、场景理解、空间关系 视频理解：时序分析、事件检测、动作识别 音频理解：语音识别、情感分析、音乐理解 文档理解：OCR、表格识别、图表解析 推理能力 视觉问答：基于图像的多步推理 图文交叉推理：结合文本和图像进行推理 因果推理：理解视频中事件的因果关系 空间推理：3D空间理解 生成能力 图像描述：高质量图像描述生成 视频摘要：长视频内容摘要 跨模态翻译：图像到文本、文本到图像 主流多模态模型 全能型 Gemini 2.5 Ultra — 支持3模态（图/视频/音频），综合最强 GPT-5o — 实时多模态对话，延迟低 GPT-5 Vision — 图像理解最强 图像特化型 Claude 4 Vision — 文档和图表理解最佳 Qwen 3 VL 72B — 开源视觉最强 InternVL 3 78B — 中文视觉强 视频特化型 Gemini 2.5 Ultra — 长视频理解（2小时） VideoLLaMA 3 — 开源视频理解 Qwen 3 VL 72B — 开源视频理解最佳 音频特化型 Whisper 4 (OpenAI) — 语音识别最强 AudioLM 2 (Google) — 音频理解 Qwen 3 Audio — 中文语音理解 核心基准对比 视觉理解 (MMMU-Pro) 模型 得分 模态 GPT-5 Vision 72.1% 图像 Claude 4 Vision 69.8% 图像 Gemini 2.5 Ultra 67.5% 图像+视频 Qwen 3 VL 72B 62.3% 图像 InternVL 3 78B 60.1% 图像 视频理解 (VideoMME) 模型 得分 最大视频长度 Gemini 2.5 Ultra 76.8% 2小时 GPT-5 Vision 72.3% 10分钟 Qwen 3 VL 72B 68.5% 30分钟 VideoLLaMA 3 62.3% 10分钟 音频理解 模型 语音识别(WER) 情感分析 音频描述 Whisper 4 2.1% ✓ ✗ Gemini 2.5 Ultra 3.5% ✓ ✓ GPT-5o 2.8% ✓ ✓ 跨模态推理 跨模态推理要求模型结合多种模态进行推理： ...

引言 2024年底，OpenAI发布了o1系列模型，引入了"思维链推理"的新范式。2026年，推理模型已经成为AI竞争的新焦点。Claude 4推出了Extended Thinking模式，Gemini 2.5 Ultra强化了推理能力，国产模型也在推理方向上持续发力。本文将深度对比主流推理模型的能力边界。 什么是推理模型 传统的LLM采用的是"直接生成"模式：输入→输出，中间过程对用户不可见。推理模型则采用了"内部思维链"模式： 用户在提问时，模型先进行内部推理（可能需要几秒到几分钟） 推理过程对用户可见（可选） 最终输出经过深思熟虑的答案 这种模式在数学、编程、科学推理等需要多步逻辑的任务上效果显著。 主流推理模型 OpenAI系列 o1-preview — 第一代推理模型 o1 — 正式版，推理能力更强 o1-mini — 轻量版，速度快 o3 (2026.06) — 新一代推理模型 Anthropic Claude 4 Opus Extended Thinking — 可扩展推理模式 Claude 4 Sonnet Extended Thinking — 轻量推理模式 Google Gemini 2.5 Ultra Thinking — 推理增强模式 Gemini 2.5 Flash Thinking — 轻量推理模式 国产模型 DeepSeek-R1 (深度求索) — 开源推理模型 GLM-5 Reasoner (智谱AI) — 推理增强版 Qwen 3 Reasoner (阿里) — 推理专用模型 核心基准对比 GPQA Diamond 研究生级别科学推理，最能体现模型深度推理能力： ...