模型选型

Gemma 系列概览 Gemma 是 Google 基于 Gemini 技术推出的开源轻量级模型系列。与 Gemini 的闭源 API 不同，Gemma 面向开源社区，权重可下载、可本地部署、可商用。其定位是"开发者友好的 Gemini 同源技术"。 产品线演进 Gemma 1 (2024.02) Gemma 2 (2024.06) Gemma 3 (2025.03) ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ 2B / 7B │ │ 2B / 9B / 27B│ │ 1B / 4B │ │ 文本 only │───→ │ 文本 only │───→ │ 12B / 27B │ │ 8K 上下文 │ │ 8K 上下文 │ │ 多模态(视觉) │ │ Gemma 许可 │ │ GQA 引入 │ │ 128K 上下文 │ └──────────────┘ └──────────────┘ └──────────────┘ Gemma 2 架构 Gemma 2 引入了多项与 Gemini 同源的架构改进： ...

Llama 系列全景 Meta 的 Llama 系列是开源大模型生态的基石。从 2023 年 2 月 Llama 1 发布至今，四代模型定义了开源 LLM 的行业标准。每一代都在参数规模、训练数据量、上下文长度和架构设计上实现跨越式提升。 Llama 1：开源的起点（2023.02） Llama 1 是 Meta 首个公开发布的大语言模型系列，标志着高质量开源 LLM 时代的开始。 核心规格： 模型 参数量 层数 隐藏维度 训练数据 Llama-7B 7B 32 4096 1.0T tokens Llama-13B 13B 40 5120 1.0T tokens Llama-33B 33B 60 6656 1.0T tokens Llama-65B 65B 80 8192 1.0T tokens 架构特点： 标准 Decoder-only Transformer 采用 RoPE（旋转位置编码）替代绝对位置编码 RMSNorm 替代 LayerNorm，训练更稳定 SwiGLU 激活函数 许可证： 非商业许可，仅限研究用途。这一限制直接催生了 Alpaca、Vicuna 等一系列微调模型。 Llama 2：商业化破冰（2023.07） Llama 2 的最大变化是许可证开放为商用，这改变了整个开源 AI 生态格局。 ...

Mistral AI 公司背景 Mistral AI 成立于 2023 年 4 月，由前 DeepMind 和 Meta 研究员创立，是欧洲最有影响力的 AI 公司。其核心策略：小团队、高效架构、开源优先。 Mistral 的技术路线与众不同——在所有人追求更大 Dense 模型时，他们率先将 MoE 架构做到实用级别。 模型矩阵 模型 参数量 激活参数 类型 上下文 许可证 Mistral 7B 7B 7B Dense 32K Apache 2.0 Mixtral 8x7B 47B 13B MoE 32K Apache 2.0 Mixtral 8x22B 141B 39B MoE 64K Apache 2.0 Mistral Large 2 123B 123B Dense 128K 商用 Codestral 22B 22B Dense 32K 商用 Mathstral 7B 7B 7B Dense 32K Apache 2.0 Pixtral 12B 12B 12B 多模态 128K 商用 Magistral - - 推理模型 - 商用 Mistral 7B：小模型标杆 Mistral 7B 是 Mistral 的开山之作，以 7B 参数量在多个基准上超越 Llama 2 13B。 ...

Qwen3 架构概述 Qwen3 是阿里通义千问系列的第三代大语言模型，采用 Dense 与 MoE（Mixture of Experts）双路线设计。核心架构基于 Decoder-only Transformer，引入了 GQA（Grouped Query Attention）、SwiGLU 激活函数、RoPE 位置编码等成熟组件。 Qwen3 的关键架构改进： GQA 分组注意力：减少 KV Cache 显存占用，推理吞吐提升 30%+ 长上下文支持：原生 32K，通过 YaRN 扩展至 128K 多语言训练：训练语料覆盖 119 种语言，中文占比显著提升 思考模式切换：支持 thinking/non-thinking 模式动态切换 模型规格对比 模型 参数量 层数 隐藏维度 注意力头数 上下文 类型 Qwen3-0.6B 0.6B 28 1024 16 32K Dense Qwen3-4B 4B 36 2560 32 32K Dense Qwen3-8B 8B 36 4096 32 32K Dense Qwen3-14B 14B 40 5120 40 32K Dense Qwen3-32B 32B 64 5120 40 32K Dense Qwen3-72B 72B 80 8192 64 32K Dense Qwen3-235B-A22B 235B 94 8192 64 32K MoE MoE 版本 235B-A22B 表示总参数 235B，每次推理激活约 22B 参数。 ...

代码模型评测方法论 评测代码模型不能只看 HumanEval 单一指标。本文采用多维度评测框架： 基础代码生成：HumanEval / MBPP（函数级生成） 多语言能力：MultiPL-E（跨语言泛化） 仓库级理解：RepoBench / CrossCodeEval（跨文件上下文） FIM 补全：Fill-in-the-Middle（IDE 集成核心能力） 复杂算法：Codeforces / LiveCodeBench（竞赛级） 实战测试：真实项目场景（Bug 修复、重构、测试生成） 参评模型概览 模型 参数量 类型 训练数据 上下文 许可证 DeepSeek-Coder-V2 236B(A21B) MoE 6T code tokens 128K DeepSeek License Qwen2.5-Coder-32B 32B Dense 5.5T code tokens 128K Apache 2.0 Codestral 22B Dense 80+ 语言 32K 商用 CodeGeeX-4 9B Dense 多语言 128K 开源 StarCoder2-15B 15B Dense 4T+ tokens 16K BigCode License CodeLlama-70B 70B Dense 1T code tokens 16K Llama License 基准测试对比 HumanEval / MBPP 模型 HumanEval MBPP HumanEval+ MBPP+ DeepSeek-Coder-V2 86.4 83.2 81.7 77.4 Qwen2.5-Coder-32B 84.1 81.0 79.3 74.8 Codestral 22B 81.1 78.2 75.6 72.1 CodeGeeX-4 82.3 79.6 77.8 73.5 StarCoder2-15B 72.6 68.4 66.2 62.1 CodeLlama-70B 80.5 76.8 74.1 70.3 GPT-4o 90.2 85.4 86.8 82.1 Claude 4 Opus 93.7 88.2 90.1 85.6 MultiPL-E（多语言编程） 模型 Python JavaScript Java C++ Rust Go 平均 DeepSeek-Coder-V2 86.4 82.1 79.3 76.8 68.3 74.5 77.9 Qwen2.5-Coder-32B 84.1 80.5 77.1 74.2 65.7 71.8 75.6 Codestral 22B 81.1 79.8 75.4 72.1 63.2 69.3 73.5 CodeGeeX-4 82.3 76.5 73.8 70.6 58.1 67.2 71.4 StarCoder2-15B 72.6 71.3 65.2 62.8 51.4 60.7 64.0 LiveCodeBench（竞赛级编程，2024-2025 新题） 模型 Easy Medium Hard Overall Claude 4 Opus 78.3 45.2 18.7 47.4 GPT-4o 72.1 38.6 12.3 41.0 DeepSeek-Coder-V2 68.5 35.1 10.2 37.9 Qwen2.5-Coder-32B 65.2 31.8 8.6 35.2 Codestral 22B 58.7 26.3 5.1 30.0 FIM 补全能力 FIM（Fill-in-the-Middle）是 IDE 集成的核心能力，测试模型根据前后文补全中间代码的能力： ...

VLM 架构演进 视觉语言模型（Vision-Language Model, VLM）的发展经历了三个主要阶段： 第一代：对齐架构（CLIP/BLIP） 图像 → 视觉编码器(ViT) ──┐ ├── 对比学习/交叉注意力 → 相似度/描述 文本 → 文本编码器(BERT) ──┘ CLIP 和 BLIP 采用双编码器架构，主要用于图文检索和零样本分类，不具备生成能力。 第二代：桥接架构（LLaVA/MiniGPT-4） 图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成 LLaVA 开创了"视觉编码器 + 投影层 + LLM"的范式，成为开源 VLM 的事实标准。 第三代：原生多模态（GPT-4V/Gemini/Qwen2-VL） 图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成 ↑ 训练时即融合多模态 原生多模态模型从训练初期就同时处理文本和图像，而非后期拼接。 主流 VLM 对比 模型 参数量 视觉编码器 上下文 分辨率 视频 开源 GPT-4o ~200B 内置 128K 2048×2048 ✅ 否 Claude 4 Opus ~200B 内置 200K 2048×2048 ✅ 否 Gemini 2.5 ~300B 内置 1M 4096×4096 ✅ 否 Qwen2.5-VL-72B 72B ViT(675M) 128K 原生4K ✅ ✅ InternVL2.5-78B 78B InternViT(6B) 128K 4K ✅ ✅ LLaVA-OneVision-72B 72B SigLIP(0.4B) 32K 768px ✅ ✅ GLM-4V-Plus ~130B ViT-H 128K 1344px ✅ 否 Pixtral 12B 12B Pixtral-ViT 128K 1024px ❌ 否 Gemma-3-27B 27B SigLIP-L 128K 896px ❌ ✅ 架构深度解析 LLaVA 架构（开源标杆） class LLaVA(nn.Module): def __init__(self, llm, vision_tower, mm_projector): self.llm = llm # 任意 LLM (Llama/Qwen/Mistral) self.vision_tower = vision_tower # 通常是 CLIP-ViT-L/14 self.mm_projector = mm_projector # MLP 投影层 def forward(self, images, input_ids): # 1. 视觉编码 image_features = self.vision_tower(images) # [batch, n_patches, 1024] # 2. 投影到 LLM 空间 image_embeds = self.mm_projector(image_features) # [batch, n_patches, 4096] # 3. 替换 <image> 占位符 text_embeds = self.llm.embed_tokens(input_ids) # 找到 <image> token 位置，替换为 image_embeds merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero() final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices) # 4. LLM 处理 return self.llm(inputs_embeds=final_embeds) Qwen2.5-VL 的动态分辨率 Qwen2.5-VL 引入了原生动态分辨率（NaViD），这是相比 LLaVA 固定分辨率的重要改进： ...

DeepSeek：搅动市场的鲶鱼 DeepSeek 用 1/10 的训练成本做出了匹敌 GPT-4 的模型，直接把大模型价格打了下来。它不是靠魔法，而是靠极致的工程优化。 模型谱系 模型 参数量 激活参数 上下文 优势 DeepSeek-V3 671B 37B 128K 通用能力强 DeepSeek-V3-Lite 16B 2.8B 64K 端侧部署 DeepSeek-Coder-V3 671B 37B 128K 代码专精 DeepSeek-R1 671B 37B 128K 推理强化 核心技术创新 1. MoE 架构：稀疏激活 # 传统 Dense 模型 # 每次推理使用全部参数 output = MLP(input) # 671B 参数全参与 # DeepSeek MoE # 每次推理只激活 37B/671B = 5.5% 的参数 output = MoE(input) # 只激活 256 个专家中的 8 个 # 效果： # 模型容量：671B（知识量大） # 推理成本：37B（速度快） # 最佳平衡点 2. MLA（Multi-Head Latent Attention） # 标准 MHA：KV Cache = 2 * L * H * D * S * B * 2 # MLA：将 K, V 压缩到低维潜空间 class MultiHeadLatentAttention: def __init__(self, dim, kv_lora_rank=512, q_lora_rank=1536): # KV 压缩到 512 维（而非完整维度） self.kv_compress = nn.Linear(dim, kv_lora_rank) self.kv_decompress = nn.Linear(kv_lora_rank, dim) def forward(self, x): # 压缩 KV → 存储压缩版 → 推理时解压 kv_latent = self.kv_compress(x) # 存储 this kv = self.kv_decompress(kv_latent) # KV Cache 减少 93.75%（从 16384 → 512） return attention(x, kv) # KV Cache 对比： # MHA: 16,384 维 per token # GQA: 4,096 维 per token # MLA: 512 维 per token ← DeepSeek 3. 多 Token 预测（MTP） # 传统：每次生成 1 个 Token # MTP：每次生成 2+ 个 Token # 原理： # Token 1: 正常自回归生成 # Token 2: 用额外的 MTP 头并行预测 # 训练时：同时优化 2 个 Token 的损失 # 效果： # 推理速度：1.8x # 质量损失：<1% # 训练数据利用率：+15%（每个样本学到更多） 4. FP8 训练 # 大部分模型用 FP16/BF16 训练 # DeepSeek 用 FP8 训练，显存和计算减半 # FP8 训练的关键： # 1. 敏感层保持 FP32（LayerNorm、Softmax） # 2. 权重和梯度用 FP8 # 3. 动态缩放因子 # 效果： # 训练成本：$5.5M（GPT-4 估计 $63M） # GPU 小时：2.79M H800 hours # 模型质量：与 FP16 训练相当 训练策略 数据策略 # DeepSeek 的数据配比 data_mix = { "web_text": 0.45, # 通用网页 "code": 0.20, # 代码（含注释） "math": 0.15, # 数学 "academic": 0.10, # 学术论文 "reasoning": 0.05, # 推理数据 "safety": 0.05, # 安全对齐 } # 总数据量：14.8T tokens # 特点：代码和数学比例高 → 推理能力强 RLHF 策略 # DeepSeek-R1 的训练流程 training_pipeline = [ "Step 1: SFT", # 监督微调 "Step 2: RL (Reasoning)", # 推理能力强化学习 "Step 3: SFT (拒绝采样)", # 用 RL 模型生成数据再 SFT "Step 4: RL (Safety)", # 安全对齐 RL ] # 创新点：Step 2 中不使用 SFT 模板，让模型自主探索推理路径 # 结果：模型发展出 "aha moment" 能力（自我反思） 性能对比 通用能力 基准 DeepSeek-V3 GPT-4o Claude-4 Qwen3-Max MMLU 88.5 88.7 89.2 87.3 MATH 61.6 56.4 60.1 58.3 HumanEval 82.6 80.1 85.1 79.8 BBH 87.5 85.1 86.8 84.2 API 价格 模型 输入 ($/1M tok) 输出 ($/1M tok) 上下文 DeepSeek-V3 $0.27 $1.10 128K GPT-4o $2.50 $10.00 128K Claude-4 $3.00 $15.00 200K Qwen3-Max $0.80 $2.40 128K # 性价比计算 cost_performance = { "DeepSeek-V3": 88.5 / 0.27, # 328 "GPT-4o": 88.7 / 2.50, # 35 "Claude-4": 89.2 / 3.00, # 30 "Qwen3-Max": 87.3 / 0.80, # 109 } # DeepSeek 性价比是 GPT-4o 的 9.4 倍 部署方案 本地部署 # 使用 vLLM 部署 DeepSeek-V3 python -m vllm.entrypoints.openai.api_server \ --model deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --max-model-len 65536 \ --gpu-memory-utilization 0.9 \ --trust-remote-code \ --port 8000 # 硬件要求： # 8x H100 80G 或 8x H800 80G # 或 4x H100 + INT4 量化 API 调用 from openai import OpenAI # DeepSeek 官方 API client = OpenAI( base_url="https://api.deepseek.com/v1", api_key="sk-xxx" ) response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "你好"}], ) 适用场景 ✅ 推荐使用 场景 推荐模型 理由 大规模推理任务 DeepSeek-V3 成本低 10x 代码生成 DeepSeek-Coder-V3 代码能力领先 数学推理 DeepSeek-R1 MATH 得分最高 知识问答 DeepSeek-V3 通用能力足够 ❌ 不推荐 场景 原因 替代方案 多模态任务 V3 纯文本 GPT-4o / Gemini 长文档分析 128K 上下文够用但非最优 Claude-4 (200K) 实时对话 首 Token 延迟偏高 GPT-4o DeepSeek 的启示 工程优化 > 算力堆砌——用 1/10 成本做出同等水平模型 MoE 是大模型的未来——671B 参数但只激活 5.5% MLA 是 KV Cache 革命——减少 93% 缓存显存 代码和数学数据是关键——提升推理能力的最有效途径 FP8 训练可行——训练成本可以减半而不损失质量 结论 DeepSeek 证明了：大模型不需要花几十亿美金训练，极致的工程优化能以 1/10 的成本达到同等水平。这对行业的影响是深远的——大模型不再是少数巨头的专利，工程能力强的团队都能做出好模型。 ...

DeepSeek V4 完整版：开源模型的「GPT-4 时刻」 2026 年 6 月，DeepSeek 正式发布 V4 完整版（此前 Preview 版已流传数月）。这是目前最强的开源权重大模型，在多个维度上逼近甚至超越闭源旗舰。 架构亮点 MoE 规模：V4 采用 236B 总参数，每次激活 39B，16 个专家，路由策略采用「稀疏激活 + 专家冗余」。相比 V3，专家专业化程度更高，代码专家、数学专家、推理专家分工明确。 MLA（Multi-head Latent Attention）升级到 V2：KV Cache 压缩比达到 8:1，意味着同样的显存可以处理 8 倍长的上下文。这是 DeepSeek 在推理效率上的核心竞争优势。 1M 上下文：通过 YaRN + 增量预训练实现，长上下文扩展训练数据达到 100B tokens。在 800K token 内的 Needle-in-haystack 测试通过率 97.2%。 原生多模态：V4 是 DeepSeek 第一个原生多模态版本，支持图像输入（文本输出），视觉编码器采用独立训练的 ViT，通过 cross-attention 与语言模型融合。 基准测试成绩 基准 DeepSeek V4 GPT-5.5 Claude Opus 4.1 MMLU-Pro 89.7 91.2 90.1 GPQA Diamond 72.4 75.8 73.1 SWE-Bench 82.3% 85.7% 84.1% HumanEval+ 91.5% 93.2% 92.8% C-Eval 96.8 88.3 85.7 中文能力是 DeepSeek V4 的最大优势，在 C-Eval 和 CMMLU 上大幅领先所有闭源模型。 ...

MoE：用稀疏激活实现"大模型能力、小模型成本" MoE（Mixture of Experts）的核心思想：模型总参数很大，但每次推理只激活一小部分。 传统 Dense 模型： 70B 参数 → 每次推理全部参与计算 → 70B 计算量 MoE 模型： 400B 总参数，每次激活 12B → 推理只需 12B 计算量 → "拥有 400B 的能力，付出 12B 的成本" MoE 架构原理 基本结构 输入 Token ↓ ┌─────────────┐ │ Router/Gate │ → 决定激活哪几个专家 └──────┬──────┘ │ ┌───┼───┬───┐ ↓ ↓ ↓ ↓ E1 E2 E3 ... E64 （专家网络，每个是一个 FFN） │ │ │ │ └───┴───┴───┘ ↓ 加权合并输出 class MoELayer(nn.Module): def __init__(self, num_experts=8, top_k=2, d_model=4096): super().__init__() self.gate = nn.Linear(d_model, num_experts) self.experts = nn.ModuleList([ FFN(d_model) for _ in range(num_experts) ]) self.top_k = top_k def forward(self, x): # Gate 计算每个专家的权重 gate_logits = self.gate(x) # [batch, seq, num_experts] weights, indices = torch.topk( F.softmax(gate_logits, dim=-1), self.top_k ) # 只激活 top-k 个专家 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = indices[..., i] weight = weights[..., i] for b in range(x.size(0)): for s in range(x.size(1)): expert = self.experts[expert_idx[b, s]] output[b, s] += weight[b, s] * expert(x[b, s]) return output 关键设计决策 决策 选项 影响 专家数量 8 / 16 / 64 / 256 更多专家 = 更大容量 + 更高显存 Top-K 1 / 2 / 4 更高 K = 更好质量 + 更多计算 专家粒度 粗（整个FFN） / 细（注意力头） 细粒度 = 更灵活路由 共享专家 有 / 无 共享专家处理通用知识 主流 MoE 模型对比 模型 总参数 激活参数 专家数 Top-K 上下文 许可证 Mixtral 8x7B 47B 13B 8 2 32K Apache 2.0 Mixtral 8x22B 141B 39B 8 2 64K Apache 2.0 DeepSeek-V3 671B 37B 256 8 128K MIT Qwen3-MoE-A14B 57B 14B 49 4 128K Apache 2.0 Grok-2 314B 86B 32 4 128K 闭源 GPT-5（推测） ~1T ~100B 128 8 256K 闭源 DeepSeek-V3 深度分析 DeepSeek-V3 是 2026 年开源 MoE 的标杆： ...

为什么关注小模型 GPT-5、Claude 4 很强，但每次调用 $0.03-0.15。如果日均 10,000 次请求，月成本 $9,000-45,000。而一个 7B 模型跑在自己的服务器上，月成本 $200（一台 GPU 服务器）。 更重要的是：数据不出内网，零延迟，无限调用。 2026 主流小模型一览 模型 参数量 上下文 中文能力 许可证 Qwen3-7B 7B 128K ★★★★★ Apache 2.0 Llama-3.3-8B 8B 128K ★★★☆ Llama License DeepSeek-V3-Lite 12B 64K ★★★★ MIT Mistral-7B-v0.4 7B 32K ★★☆ Apache 2.0 Gemma-3-9B 9B 128K ★★★☆ Gemma License Yi-1.5-9B 9B 32K ★★★★ Apache 2.0 实测：Agent 任务表现 测试集设计 我们设计了 100 个 Agent 任务，分为 5 类： 信息提取（20题）：从文本中提取结构化信息 多轮对话（20题）：5-10 轮上下文的对话 工具调用（20题）：Function Calling 准确率 推理任务（20题）：多步逻辑推理 代码生成（20题）：Python 函数编写 测试结果 模型 信息提取 多轮对话 工具调用 推理任务 代码生成 总分 Qwen3-7B 95% 88% 82% 75% 78% 83.6% Llama-3.3-8B 90% 85% 78% 72% 82% 81.4% DeepSeek-V3-Lite 92% 86% 80% 78% 85% 84.2% Mistral-7B 85% 80% 70% 65% 75% 75.0% GPT-4o-mini 96% 92% 90% 85% 88% 90.2% 关键发现： ...