Qwen3

2025 年 8 月 OpenAI 开放 gpt-oss 系列权重（20b 与 120b）时，行业将信将疑。一年后的 2026 年 10 月回看，判断一个开放权重模型生不生产，标准已经变了：不再是「权重能不能下载」，而是「发布当天有没有推理框架 day-0 支持、有没有微调内核、有没有量化检查点」。gpt-oss 这条线恰好把这条生态链走通了。 三个成熟标志 推理 day-0 化：SGLang 为 gpt-oss 做了 Unified Radix Cache 与 Flex Attention 适配，60K 上下文 BF16 LoRA 训练只要 80GB 显存；新版本 Qwen3.8 发布当天，SGLang 与 Miles 直接给出支持，NVFP4 检查点同日上线。 微调工具链闭环：Unsloth 把 gpt-oss 的 QLoRA 4bit 训练推到 H100 上 290K 上下文，50 万 token 可训，还反过来验证了开源权重的可定制性。 跨硬件扩散：从 NVIDIA Blackwell 到 AMD GPU，gpt-oss 类开放权重都有官方或社区适配，AMD 侧 GRPO 训练显存省约 80%。 为什么这才叫「开源」 过去很多开放权重卡在「下完跑不起来」：量化要自己做、长上下文要自己改、新架构没人支持。2026 年的生态成熟意味着，一个团队拿到权重，当天就能在自己的硬件上跑出接近商用 API 的体验，还能按数据微调。gpt-oss 的意义不是模型本身多强，而是它把大厂开放权重变成了一个可被工程化的生态入口。 ...

Qwen3 架构概述 Qwen3 是阿里通义千问系列的第三代大语言模型，采用 Dense 与 MoE（Mixture of Experts）双路线设计。核心架构基于 Decoder-only Transformer，引入了 GQA（Grouped Query Attention）、SwiGLU 激活函数、RoPE 位置编码等成熟组件。 Qwen3 的关键架构改进： GQA 分组注意力：减少 KV Cache 显存占用，推理吞吐提升 30%+ 长上下文支持：原生 32K，通过 YaRN 扩展至 128K 多语言训练：训练语料覆盖 119 种语言，中文占比显著提升 思考模式切换：支持 thinking/non-thinking 模式动态切换 模型规格对比 模型 参数量 层数 隐藏维度 注意力头数 上下文 类型 Qwen3-0.6B 0.6B 28 1024 16 32K Dense Qwen3-4B 4B 36 2560 32 32K Dense Qwen3-8B 8B 36 4096 32 32K Dense Qwen3-14B 14B 40 5120 40 32K Dense Qwen3-32B 32B 64 5120 40 32K Dense Qwen3-72B 72B 80 8192 64 32K Dense Qwen3-235B-A22B 235B 94 8192 64 32K MoE MoE 版本 235B-A22B 表示总参数 235B，每次推理激活约 22B 参数。 ...