Qwen3 系列模型选择指南：从 0.6B 到 235B
Qwen3 架构概述 Qwen3 是阿里通义千问系列的第三代大语言模型，采用 Dense 与 MoE（Mixture of Experts）双路线设计。核心架构基于 Decoder-only Transformer，引入了 GQA（Grouped Query Attention）、SwiGLU 激活函数、RoPE 位置编码等成熟组件。 Qwen3 的关键架构改进： GQA 分组注意力：减少 KV Cache 显存占用，推理吞吐提升 30%+ 长上下文支持：原生 32K，通过 YaRN 扩展至 128K 多语言训练：训练语料覆盖 119 种语言，中文占比显著提升 思考模式切换：支持 thinking/non-thinking 模式动态切换 模型规格对比 模型 参数量 层数 隐藏维度 注意力头数 上下文 类型 Qwen3-0.6B 0.6B 28 1024 16 32K Dense Qwen3-4B 4B 36 2560 32 32K Dense Qwen3-8B 8B 36 4096 32 32K Dense Qwen3-14B 14B 40 5120 40 32K Dense Qwen3-32B 32B 64 5120 40 32K Dense Qwen3-72B 72B 80 8192 64 32K Dense Qwen3-235B-A22B 235B 94 8192 64 32K MoE MoE 版本 235B-A22B 表示总参数 235B，每次推理激活约 22B 参数。 ...