模型选型

Qwen3 架构概述 Qwen3 是阿里通义千问系列的第三代大语言模型，采用 Dense 与 MoE（Mixture of Experts）双路线设计。核心架构基于 Decoder-only Transformer，引入了 GQA（Grouped Query Attention）、SwiGLU 激活函数、RoPE 位置编码等成熟组件。 Qwen3 的关键架构改进： GQA 分组注意力：减少 KV Cache 显存占用，推理吞吐提升 30%+ 长上下文支持：原生 32K，通过 YaRN 扩展至 128K 多语言训练：训练语料覆盖 119 种语言，中文占比显著提升 思考模式切换：支持 thinking/non-thinking 模式动态切换 模型规格对比 模型 参数量 层数 隐藏维度 注意力头数 上下文 类型 Qwen3-0.6B 0.6B 28 1024 16 32K Dense Qwen3-4B 4B 36 2560 32 32K Dense Qwen3-8B 8B 36 4096 32 32K Dense Qwen3-14B 14B 40 5120 40 32K Dense Qwen3-32B 32B 64 5120 40 32K Dense Qwen3-72B 72B 80 8192 64 32K Dense Qwen3-235B-A22B 235B 94 8192 64 32K MoE MoE 版本 235B-A22B 表示总参数 235B，每次推理激活约 22B 参数。 ...

代码模型评测方法论 评测代码模型不能只看 HumanEval 单一指标。本文采用多维度评测框架： 基础代码生成：HumanEval / MBPP（函数级生成） 多语言能力：MultiPL-E（跨语言泛化） 仓库级理解：RepoBench / CrossCodeEval（跨文件上下文） FIM 补全：Fill-in-the-Middle（IDE 集成核心能力） 复杂算法：Codeforces / LiveCodeBench（竞赛级） 实战测试：真实项目场景（Bug 修复、重构、测试生成） 参评模型概览 模型 参数量 类型 训练数据 上下文 许可证 DeepSeek-Coder-V2 236B(A21B) MoE 6T code tokens 128K DeepSeek License Qwen2.5-Coder-32B 32B Dense 5.5T code tokens 128K Apache 2.0 Codestral 22B Dense 80+ 语言 32K 商用 CodeGeeX-4 9B Dense 多语言 128K 开源 StarCoder2-15B 15B Dense 4T+ tokens 16K BigCode License CodeLlama-70B 70B Dense 1T code tokens 16K Llama License 基准测试对比 HumanEval / MBPP 模型 HumanEval MBPP HumanEval+ MBPP+ DeepSeek-Coder-V2 86.4 83.2 81.7 77.4 Qwen2.5-Coder-32B 84.1 81.0 79.3 74.8 Codestral 22B 81.1 78.2 75.6 72.1 CodeGeeX-4 82.3 79.6 77.8 73.5 StarCoder2-15B 72.6 68.4 66.2 62.1 CodeLlama-70B 80.5 76.8 74.1 70.3 GPT-4o 90.2 85.4 86.8 82.1 Claude 4 Opus 93.7 88.2 90.1 85.6 MultiPL-E（多语言编程） 模型 Python JavaScript Java C++ Rust Go 平均 DeepSeek-Coder-V2 86.4 82.1 79.3 76.8 68.3 74.5 77.9 Qwen2.5-Coder-32B 84.1 80.5 77.1 74.2 65.7 71.8 75.6 Codestral 22B 81.1 79.8 75.4 72.1 63.2 69.3 73.5 CodeGeeX-4 82.3 76.5 73.8 70.6 58.1 67.2 71.4 StarCoder2-15B 72.6 71.3 65.2 62.8 51.4 60.7 64.0 LiveCodeBench（竞赛级编程，2024-2025 新题） 模型 Easy Medium Hard Overall Claude 4 Opus 78.3 45.2 18.7 47.4 GPT-4o 72.1 38.6 12.3 41.0 DeepSeek-Coder-V2 68.5 35.1 10.2 37.9 Qwen2.5-Coder-32B 65.2 31.8 8.6 35.2 Codestral 22B 58.7 26.3 5.1 30.0 FIM 补全能力 FIM（Fill-in-the-Middle）是 IDE 集成的核心能力，测试模型根据前后文补全中间代码的能力： ...

VLM 架构演进 视觉语言模型（Vision-Language Model, VLM）的发展经历了三个主要阶段： 第一代：对齐架构（CLIP/BLIP） 图像 → 视觉编码器(ViT) ──┐ ├── 对比学习/交叉注意力 → 相似度/描述 文本 → 文本编码器(BERT) ──┘ CLIP 和 BLIP 采用双编码器架构，主要用于图文检索和零样本分类，不具备生成能力。 第二代：桥接架构（LLaVA/MiniGPT-4） 图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成 LLaVA 开创了"视觉编码器 + 投影层 + LLM"的范式，成为开源 VLM 的事实标准。 第三代：原生多模态（GPT-4V/Gemini/Qwen2-VL） 图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成 ↑ 训练时即融合多模态 原生多模态模型从训练初期就同时处理文本和图像，而非后期拼接。 主流 VLM 对比 模型 参数量 视觉编码器 上下文 分辨率 视频 开源 GPT-4o ~200B 内置 128K 2048×2048 ✅ 否 Claude 4 Opus ~200B 内置 200K 2048×2048 ✅ 否 Gemini 2.5 ~300B 内置 1M 4096×4096 ✅ 否 Qwen2.5-VL-72B 72B ViT(675M) 128K 原生4K ✅ ✅ InternVL2.5-78B 78B InternViT(6B) 128K 4K ✅ ✅ LLaVA-OneVision-72B 72B SigLIP(0.4B) 32K 768px ✅ ✅ GLM-4V-Plus ~130B ViT-H 128K 1344px ✅ 否 Pixtral 12B 12B Pixtral-ViT 128K 1024px ❌ 否 Gemma-3-27B 27B SigLIP-L 128K 896px ❌ ✅ 架构深度解析 LLaVA 架构（开源标杆） class LLaVA(nn.Module): def __init__(self, llm, vision_tower, mm_projector): self.llm = llm # 任意 LLM (Llama/Qwen/Mistral) self.vision_tower = vision_tower # 通常是 CLIP-ViT-L/14 self.mm_projector = mm_projector # MLP 投影层 def forward(self, images, input_ids): # 1. 视觉编码 image_features = self.vision_tower(images) # [batch, n_patches, 1024] # 2. 投影到 LLM 空间 image_embeds = self.mm_projector(image_features) # [batch, n_patches, 4096] # 3. 替换 <image> 占位符 text_embeds = self.llm.embed_tokens(input_ids) # 找到 <image> token 位置，替换为 image_embeds merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero() final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices) # 4. LLM 处理 return self.llm(inputs_embeds=final_embeds) Qwen2.5-VL 的动态分辨率 Qwen2.5-VL 引入了原生动态分辨率（NaViD），这是相比 LLaVA 固定分辨率的重要改进： ...

DeepSeek：搅动市场的鲶鱼 DeepSeek 用 1/10 的训练成本做出了匹敌 GPT-4 的模型，直接把大模型价格打了下来。它不是靠魔法，而是靠极致的工程优化。 模型谱系 模型 参数量 激活参数 上下文 优势 DeepSeek-V3 671B 37B 128K 通用能力强 DeepSeek-V3-Lite 16B 2.8B 64K 端侧部署 DeepSeek-Coder-V3 671B 37B 128K 代码专精 DeepSeek-R1 671B 37B 128K 推理强化 核心技术创新 1. MoE 架构：稀疏激活 # 传统 Dense 模型 # 每次推理使用全部参数 output = MLP(input) # 671B 参数全参与 # DeepSeek MoE # 每次推理只激活 37B/671B = 5.5% 的参数 output = MoE(input) # 只激活 256 个专家中的 8 个 # 效果： # 模型容量：671B（知识量大） # 推理成本：37B（速度快） # 最佳平衡点 2. MLA（Multi-Head Latent Attention） # 标准 MHA：KV Cache = 2 * L * H * D * S * B * 2 # MLA：将 K, V 压缩到低维潜空间 class MultiHeadLatentAttention: def __init__(self, dim, kv_lora_rank=512, q_lora_rank=1536): # KV 压缩到 512 维（而非完整维度） self.kv_compress = nn.Linear(dim, kv_lora_rank) self.kv_decompress = nn.Linear(kv_lora_rank, dim) def forward(self, x): # 压缩 KV → 存储压缩版 → 推理时解压 kv_latent = self.kv_compress(x) # 存储 this kv = self.kv_decompress(kv_latent) # KV Cache 减少 93.75%（从 16384 → 512） return attention(x, kv) # KV Cache 对比： # MHA: 16,384 维 per token # GQA: 4,096 维 per token # MLA: 512 维 per token ← DeepSeek 3. 多 Token 预测（MTP） # 传统：每次生成 1 个 Token # MTP：每次生成 2+ 个 Token # 原理： # Token 1: 正常自回归生成 # Token 2: 用额外的 MTP 头并行预测 # 训练时：同时优化 2 个 Token 的损失 # 效果： # 推理速度：1.8x # 质量损失：<1% # 训练数据利用率：+15%（每个样本学到更多） 4. FP8 训练 # 大部分模型用 FP16/BF16 训练 # DeepSeek 用 FP8 训练，显存和计算减半 # FP8 训练的关键： # 1. 敏感层保持 FP32（LayerNorm、Softmax） # 2. 权重和梯度用 FP8 # 3. 动态缩放因子 # 效果： # 训练成本：$5.5M（GPT-4 估计 $63M） # GPU 小时：2.79M H800 hours # 模型质量：与 FP16 训练相当 训练策略 数据策略 # DeepSeek 的数据配比 data_mix = { "web_text": 0.45, # 通用网页 "code": 0.20, # 代码（含注释） "math": 0.15, # 数学 "academic": 0.10, # 学术论文 "reasoning": 0.05, # 推理数据 "safety": 0.05, # 安全对齐 } # 总数据量：14.8T tokens # 特点：代码和数学比例高 → 推理能力强 RLHF 策略 # DeepSeek-R1 的训练流程 training_pipeline = [ "Step 1: SFT", # 监督微调 "Step 2: RL (Reasoning)", # 推理能力强化学习 "Step 3: SFT (拒绝采样)", # 用 RL 模型生成数据再 SFT "Step 4: RL (Safety)", # 安全对齐 RL ] # 创新点：Step 2 中不使用 SFT 模板，让模型自主探索推理路径 # 结果：模型发展出 "aha moment" 能力（自我反思） 性能对比 通用能力 基准 DeepSeek-V3 GPT-4o Claude-4 Qwen3-Max MMLU 88.5 88.7 89.2 87.3 MATH 61.6 56.4 60.1 58.3 HumanEval 82.6 80.1 85.1 79.8 BBH 87.5 85.1 86.8 84.2 API 价格 模型 输入 ($/1M tok) 输出 ($/1M tok) 上下文 DeepSeek-V3 $0.27 $1.10 128K GPT-4o $2.50 $10.00 128K Claude-4 $3.00 $15.00 200K Qwen3-Max $0.80 $2.40 128K # 性价比计算 cost_performance = { "DeepSeek-V3": 88.5 / 0.27, # 328 "GPT-4o": 88.7 / 2.50, # 35 "Claude-4": 89.2 / 3.00, # 30 "Qwen3-Max": 87.3 / 0.80, # 109 } # DeepSeek 性价比是 GPT-4o 的 9.4 倍 部署方案 本地部署 # 使用 vLLM 部署 DeepSeek-V3 python -m vllm.entrypoints.openai.api_server \ --model deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --max-model-len 65536 \ --gpu-memory-utilization 0.9 \ --trust-remote-code \ --port 8000 # 硬件要求： # 8x H100 80G 或 8x H800 80G # 或 4x H100 + INT4 量化 API 调用 from openai import OpenAI # DeepSeek 官方 API client = OpenAI( base_url="https://api.deepseek.com/v1", api_key="sk-xxx" ) response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "你好"}], ) 适用场景 ✅ 推荐使用 场景 推荐模型 理由 大规模推理任务 DeepSeek-V3 成本低 10x 代码生成 DeepSeek-Coder-V3 代码能力领先 数学推理 DeepSeek-R1 MATH 得分最高 知识问答 DeepSeek-V3 通用能力足够 ❌ 不推荐 场景 原因 替代方案 多模态任务 V3 纯文本 GPT-4o / Gemini 长文档分析 128K 上下文够用但非最优 Claude-4 (200K) 实时对话 首 Token 延迟偏高 GPT-4o DeepSeek 的启示 工程优化 > 算力堆砌——用 1/10 成本做出同等水平模型 MoE 是大模型的未来——671B 参数但只激活 5.5% MLA 是 KV Cache 革命——减少 93% 缓存显存 代码和数学数据是关键——提升推理能力的最有效途径 FP8 训练可行——训练成本可以减半而不损失质量 结论 DeepSeek 证明了：大模型不需要花几十亿美金训练，极致的工程优化能以 1/10 的成本达到同等水平。这对行业的影响是深远的——大模型不再是少数巨头的专利，工程能力强的团队都能做出好模型。 ...

DeepSeek V4 完整版：开源模型的「GPT-4 时刻」 2026 年 6 月，DeepSeek 正式发布 V4 完整版（此前 Preview 版已流传数月）。这是目前最强的开源权重大模型，在多个维度上逼近甚至超越闭源旗舰。 架构亮点 MoE 规模：V4 采用 236B 总参数，每次激活 39B，16 个专家，路由策略采用「稀疏激活 + 专家冗余」。相比 V3，专家专业化程度更高，代码专家、数学专家、推理专家分工明确。 MLA（Multi-head Latent Attention）升级到 V2：KV Cache 压缩比达到 8:1，意味着同样的显存可以处理 8 倍长的上下文。这是 DeepSeek 在推理效率上的核心竞争优势。 1M 上下文：通过 YaRN + 增量预训练实现，长上下文扩展训练数据达到 100B tokens。在 800K token 内的 Needle-in-haystack 测试通过率 97.2%。 原生多模态：V4 是 DeepSeek 第一个原生多模态版本，支持图像输入（文本输出），视觉编码器采用独立训练的 ViT，通过 cross-attention 与语言模型融合。 基准测试成绩 基准 DeepSeek V4 GPT-5.5 Claude Opus 4.1 MMLU-Pro 89.7 91.2 90.1 GPQA Diamond 72.4 75.8 73.1 SWE-Bench 82.3% 85.7% 84.1% HumanEval+ 91.5% 93.2% 92.8% C-Eval 96.8 88.3 85.7 中文能力是 DeepSeek V4 的最大优势，在 C-Eval 和 CMMLU 上大幅领先所有闭源模型。 ...

MoE：用稀疏激活实现"大模型能力、小模型成本" MoE（Mixture of Experts）的核心思想：模型总参数很大，但每次推理只激活一小部分。 传统 Dense 模型： 70B 参数 → 每次推理全部参与计算 → 70B 计算量 MoE 模型： 400B 总参数，每次激活 12B → 推理只需 12B 计算量 → "拥有 400B 的能力，付出 12B 的成本" MoE 架构原理 基本结构 输入 Token ↓ ┌─────────────┐ │ Router/Gate │ → 决定激活哪几个专家 └──────┬──────┘ │ ┌───┼───┬───┐ ↓ ↓ ↓ ↓ E1 E2 E3 ... E64 （专家网络，每个是一个 FFN） │ │ │ │ └───┴───┴───┘ ↓ 加权合并输出 class MoELayer(nn.Module): def __init__(self, num_experts=8, top_k=2, d_model=4096): super().__init__() self.gate = nn.Linear(d_model, num_experts) self.experts = nn.ModuleList([ FFN(d_model) for _ in range(num_experts) ]) self.top_k = top_k def forward(self, x): # Gate 计算每个专家的权重 gate_logits = self.gate(x) # [batch, seq, num_experts] weights, indices = torch.topk( F.softmax(gate_logits, dim=-1), self.top_k ) # 只激活 top-k 个专家 output = torch.zeros_like(x) for i in range(self.top_k): expert_idx = indices[..., i] weight = weights[..., i] for b in range(x.size(0)): for s in range(x.size(1)): expert = self.experts[expert_idx[b, s]] output[b, s] += weight[b, s] * expert(x[b, s]) return output 关键设计决策 决策 选项 影响 专家数量 8 / 16 / 64 / 256 更多专家 = 更大容量 + 更高显存 Top-K 1 / 2 / 4 更高 K = 更好质量 + 更多计算 专家粒度 粗（整个FFN） / 细（注意力头） 细粒度 = 更灵活路由 共享专家 有 / 无 共享专家处理通用知识 主流 MoE 模型对比 模型 总参数 激活参数 专家数 Top-K 上下文 许可证 Mixtral 8x7B 47B 13B 8 2 32K Apache 2.0 Mixtral 8x22B 141B 39B 8 2 64K Apache 2.0 DeepSeek-V3 671B 37B 256 8 128K MIT Qwen3-MoE-A14B 57B 14B 49 4 128K Apache 2.0 Grok-2 314B 86B 32 4 128K 闭源 GPT-5（推测） ~1T ~100B 128 8 256K 闭源 DeepSeek-V3 深度分析 DeepSeek-V3 是 2026 年开源 MoE 的标杆： ...

为什么关注小模型 GPT-5、Claude 4 很强，但每次调用 $0.03-0.15。如果日均 10,000 次请求，月成本 $9,000-45,000。而一个 7B 模型跑在自己的服务器上，月成本 $200（一台 GPU 服务器）。 更重要的是：数据不出内网，零延迟，无限调用。 2026 主流小模型一览 模型 参数量 上下文 中文能力 许可证 Qwen3-7B 7B 128K ★★★★★ Apache 2.0 Llama-3.3-8B 8B 128K ★★★☆ Llama License DeepSeek-V3-Lite 12B 64K ★★★★ MIT Mistral-7B-v0.4 7B 32K ★★☆ Apache 2.0 Gemma-3-9B 9B 128K ★★★☆ Gemma License Yi-1.5-9B 9B 32K ★★★★ Apache 2.0 实测：Agent 任务表现 测试集设计 我们设计了 100 个 Agent 任务，分为 5 类： 信息提取（20题）：从文本中提取结构化信息 多轮对话（20题）：5-10 轮上下文的对话 工具调用（20题）：Function Calling 准确率 推理任务（20题）：多步逻辑推理 代码生成（20题）：Python 函数编写 测试结果 模型 信息提取 多轮对话 工具调用 推理任务 代码生成 总分 Qwen3-7B 95% 88% 82% 75% 78% 83.6% Llama-3.3-8B 90% 85% 78% 72% 82% 81.4% DeepSeek-V3-Lite 92% 86% 80% 78% 85% 84.2% Mistral-7B 85% 80% 70% 65% 75% 75.0% GPT-4o-mini 96% 92% 90% 85% 88% 90.2% 关键发现： ...

Qwen3.5：阿里通义的「全尺寸」攻势 2026 年 6 月，阿里巴巴发布 Qwen3.5 系列，这是 Qwen3 发布一年后的重大升级。最大亮点是「全尺寸覆盖」——从 0.8B 到 397B MoE，六个型号全面覆盖端侧到云端。 模型矩阵 型号 参数 激活参数 适用场景 Qwen3.5-0.8B 0.8B 0.8B 端侧、嵌入式 Qwen3.5-3B 3B 3B 手机、边缘设备 Qwen3.5-8B 8B 8B 单卡部署、中小团队 Qwen3.5-32B 32B 32B 高性能单机 Qwen3.5-72B 72B 72B 企业级部署 Qwen3.5-397B-A17B 397B 17B 旗舰，对标 GPT-5 核心技术改进 GQA + MLA 混合注意力：Qwen3.5 是第一个同时采用 Grouped Query Attention 和 Multi-head Latent Attention 的模型，在推理效率和长上下文能力之间找到最佳平衡点。 MoE 路由优化：397B-A17B 版本采用「动态专家容量」，每个 token 可根据难度动态分配专家数量（1-3 个），在保持推理效率的同时提升困难样本的处理能力。 中文能力再突破：在 C-Eval 2.0（2026 版）上达到 98.1%，创下新的 SOTA。特别是对于中文古文、方言、专业术语的理解能力大幅提升。 原生工具调用：Qwen3.5 原生支持 Tool Calling，不需要特殊 Prompt 格式。在 Berkeley Function-Calling 上达到 94.2%，开源模型第一。 ...

Llama 4：Meta 的开源反击能否成功？ Meta 在 2026 年 Q2 正式发布 Llama 4 系列，包含三个型号：Scout（17B）、Maverick（120B）、Behemoth（400B+ MoE）。这是 Meta 在开源大模型领域的全面反击，直接对标 Qwen3.5 和 DeepSeek V4。 模型家族 Llama 4 Scout（17B）：面向端侧和单卡部署，采用密集 Transformer 架构，支持 128K 上下文。 Llama 4 Maverick（120B）：旗舰密集模型，支持 256K 上下文，针对多模态优化。 Llama 4 Behemoth（400B+ MoE，激活 80B）：对标 GPT-5.5 和 Claude Opus 4.1 的旗舰型号，采用 MoE 架构。 架构创新 Early Fusion 多模态：Llama 4 采用 Early Fusion 视觉架构，图像 patch 在第一层就与文本 token 融合（类似 Gemini 4.0 的思路），而不是像 Llama 3.2 那样用单独视觉塔。 Grouped Query Attention V2：升级版 GQA，支持动态头数分配，在长上下文场景下 KV Cache 占用减少 60%。 ...

GPT-5 vs Claude 4 vs Qwen3 vs DeepSeek V3——四大旗舰模型横评，附不同场景选型建议。