Qwen

Qwen3.8-Flash-Next 的模型卡近日在 ModelScope 与 Ollama 同步更新，架构细节比宣传页更值得拆。它走稀疏 MoE 路线：48 层，专家总数 512，每个 token 只激活 10 个路由专家加 1 个共享专家，专家中间维度 640。总参数约 125B，激活约 3B 出头。这是继 Qwen3-Next-80B-A3B 之后，阿里第二次把「超宽专家、超薄激活」的思路推到新档位。 4 分支门控残差是干什么的？ 传统 Transformer 的残差是一条直路：x + f(x)。Qwen3.8-Flash-Next 把残差改成 4 个分支并行，每个分支瓶颈秩 320，再由门控加权合并。这相当于在残差通路上插了一个可学习的低秩适配器家族，让不同 token 走不同的残差组合。官方还配了一个 510 亿参数的 n-gram 嵌入层和一个 40 亿参数的 MTP（多 token 预测）头——n-gram 嵌入负责给 token 加局部统计先验，MTP 头负责一次出多个候选 token 加速解码。 10 路由加 1 共享为什么是 10 不是 8 或 16？ MoE 路由数是效率与质量的折中。8 专家容易路由坍塌，16 专家对 all-to-all 通信带宽压力翻倍。10 路由加 1 共享的组合里，共享专家永远激活，负责兜底通用知识，路由专家负责专长分化。中间维度压到 640，是为了让每个专家的 FFN 足够薄，这样 10 个专家并行算起来 FLOPs 跟一个中等稠密 FFN 差不多。这是「用宽度换深度」的典型打法：不把每一层做深，而是把一层里并行做很多薄专家。 ...

华为昇腾 950DT 在 2026 年下半年完成云化、逐步商用，更新一代的路线也提前给出了节奏。推理侧国产替代的窗口已经打开，但真把开源模型搬上昇腾，坑和在 NVIDIA 上完全不是一套。本文记录用 MindIE 推理引擎部署 Qwen 系列时最常踩的五个坑。 坑一：权重格式为什么不能直接用？ 昇腾不能直接读原版 safetensors，需要先用 MindIE 自带的转换工具把权重转成昇腾格式，并生成配套配置。最常见的错误是照搬开源框架上的配置文件，导致位置编码缩放、量化参数对不上，启动即显存溢出。正确做法是用转换工具生成的配置，再逐项比对。 坑二：量化精度到底怎么取舍？ 昇腾侧常用 W8A8 或更激进的量化。W8A8 在中文通用任务上掉点不明显，但数学、代码类任务可能有可见下降。建议先跑一组约两百题的内部黄金集，对比高精度与量化版输出，再决定上线哪一档。不要拿官方宣传的基准直接当自己业务的效果。 坑三：并发与 batch 该怎么设？ MindIE 的并发模型和主流推理框架不一样，prefill 与 decode 的并行策略需要按实例核数手动调。经验值是：先把最大 batch 设小，例如从 4 测吞吐，再逐步往上加，找到延迟与吞吐的拐点。一上来拉满 batch，常常是吞吐没涨、首 token 延迟先崩了。 坑四：长上下文显存该怎么预留？ 长上下文任务要显式配置最大序列长度，且 KV 显存是按这个上限预留的。把最大长度设得远高于实际请求，会白白吃掉一大半显存。按业务真实分布设上限，是昇腾上最划算的一刀。 坑五：排障工具链怎么快速上手？ 昇腾的性能剖析工具与常见的 GPU 剖析器不是一套，前期要花时间熟悉。建议保留一个「最小可复现用例」脚本——启动失败时，先用最小配置跑通，再逐步加业务参数，比直接上全量配置效率高得多。 迁移到国产卡的成本能降到多低？ 昇腾生态正在快速补全，但「能跑」和「跑得好」之间隔着一堆平台特有细节。把权重转换、量化验证、并发调参、shape 上限、排障脚本这五件事做成标准流程，团队迁移到国产卡的成本会从按月降到按天。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：昇腾MindIE部署

10 月 8 日，一条不显眼但分量很重的快讯在行业雷达上闪过：以「把广告利润投去种树」闻名的德国环保搜索引擎 Ecosia，正式宣布切换模型底座，改用中国开源大模型——通义 Qwen、智谱 GLM 与月之暗面 Kimi。一家把隐私和价值观写进产品基因的欧洲搜索引擎，主动绕过了美国闭源 API，把推理负载压在了三个中国开源权重上。 德国环保搜索引擎 Ecosia 为什么转投中国开源模型？ Ecosia 的用户对价格、隐私、数据流向极其敏感。它此前依赖的闭源 API 既贵，又把查询数据交给美国厂商，与「公益+隐私」的品牌叙事天然冲突。而 Qwen、GLM、Kimi 这一年在开源权重、本地化部署、单位推理成本上的进步，刚好补上了它要的三块短板：可以自托管、不必把搜索Query送进第三方云、单价低到能支撑「种树级」的低毛利生意。 更关键的是「可自托管」。对一家把「数据不出欧盟」当卖点的公司，开源权重意味着推理可以放在自己的机房，合规叙事一夜之间通顺了。 这只是一次普通切换，还是一场生态投票？ 把这件事放在大背景里看：欧洲在自研大模型上一直没能跑出能打的旗舰，Mistral 之外选择有限，而 EU AI Act 的合规成本又在抬高闭源采购的门槛。中国开源模型恰好卡在这个真空里——权重免费、可审计、可私有化、多语言能力够用。Ecosia 不是第一家，但它是最有「价值观话语权」的一家，它的切换等于替整个欧洲中小互联网公司做了一次示范。 对国内模型厂商，这比任何一次海外发布会都实在：真正的护城河不是榜单分数，而是「能让一家严肃的欧洲公司敢把生产环境搬上来」的工程成熟度。 切换成开源权重，利润真的会回流中国吗？ 要清醒看到，Ecosia 用的是开源权重，不代表它在为中国公司付 API 钱——利润不会直接回流。但权重被谁的生产环境采用，决定了下一轮社区贡献、微调生态和人才流向。这一步，中国开源模型算是在欧洲市场撬开了一道缝。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：Ecosia开源模型

Qwen5核心特性 720B MoE架构，激活参数40B 原生多模态（文字+图像+视频） 支持1M上下文 开源免费可商用 实测表现 中文能力：业界最强之一 代码能力：媲美GPT-5-mini 数学推理：优秀 本地部署：量化后可在消费级显卡运行 对行业影响 Qwen5再次证明：开源模型在快速逼近闭源。对于预算有限的中小团队，Qwen5是绝佳选择。

阿里通义千问发布Qwen3.8-Omni-Flash多模态模型，支持文本、图像、音频、视频输入，上下文长度达1M（100万token），30项评测平均性能提升26%。 核心能力 全模态输入：文字+图片+音频+视频 1M长上下文：可处理整本书或数小时视频 音视频增强：专门优化了音频和视频理解能力 价格优化：API定价进一步下调 适用场景 长文档分析：整本书、合同集、代码库 视频理解：长视频内容分析、会议纪要 音频处理：多语言语音识别、音频内容理解 多模态Agent：结合视觉和听觉的智能助手 国产模型格局 国产第一梯队已形成： Qwen3.8-Max：综合能力国产第一 DeepSeek V4.1 Flash：开源Agent能力最强 GLM-5.3：智谱旗舰 MiniMax M3：AI视频最强 小米MiMo-V2.6：新晋开源第一 竞争激烈，用户受益。

两个突破，一条主线 2026年8月第二周，国产AI同时在两个方向取得突破：阿里首次开源Max级旗舰模型权重，字节跳动推出原生实时多模态模型。看似不同赛道，背后是同一条主线——国产AI正在从"追赶"走向"定义"。 一、Qwen3.8 Max：2.4万亿参数首次开源 8月10日当周，阿里巴巴正式开源Qwen3.8-Max旗舰模型权重（Qwen3.8-2.4T-A95B）。 这是千问Max级别旗舰模型首次对外开源。 核心参数 指标 数值 总参数 2.4万亿（2.4T） 架构 稀疏MoE 单次激活 ~950亿参数（95B） Artificial Analysis智能指数 58 编程指数 71.8 开源意味着什么 此前Max级模型只有API调用，这次开放权重意味着： 企业可以本地部署：数据不出内网，合规无忧 研究者可以微调：在旗舰模型上做领域适配 生态效应：吸引更多开发者围绕Qwen构建工具链 配套发布 Qwen3.8-27B开放权重预计8月15日上线ModelScope。中小参数版本适合资源有限的团队，与Max版本形成梯度。 对开源生态的影响 国产开源模型已经形成清晰梯队： Qwen3.8 Max (2.4T) — 旗舰，企业级部署 Qwen3.8 27B — 中型，中小团队微调首选 DeepSeek V4 Flash — 轻量，大规模推理 开源不是慈善——是生态卡位。谁的模型被最多人用，谁就定义下一轮技术标准。 二、字节SeedRealtime：AI开始真正"看、听、说" 8月11日，字节跳动推出SeedRealtime模型。 核心能力 原生支持音视频全双工交互——可以同时处理视觉、听觉等输入，并进行实时输出。 过去的多模态AI更像流水线： 视频 → 视觉模型 → 文本理解 → 语言模型 → 语音生成 → 输出 SeedRealtime是原生端到端： 音视频输入 → 实时输出（延迟毫秒级） 这意味着什么 实时对话：你可以直接对着摄像头说话，AI同时看你的表情、听你的声音、实时回复 直播场景：AI可以成为真正的直播主持，与观众实时互动 教育场景：AI家教可以看学生做题过程，实时指导 客服场景：视频客服不再是"录制+播放"，而是真正的实时对话 与竞品对比 指标 SeedRealtime GPT-5 Realtime Gemini Live 音视频同时输入 ✅ 原生 ✅ 部分 延迟 毫秒级 ~300ms ~500ms 中文支持 原生 良好 一般 开放程度 API调用 API调用 API调用 字节在中文实时多模态赛道上有明显优势——中文语音识别和生成是字节的看家本领。 ...

引言：小模型的时代来了 2026年，一个反直觉的趋势正在发生：参数量1B-7B的小模型正在快速蚕食大模型的应用场景。Phi-4-mini、Qwen3-4B、Gemma 3-2B等模型在经过精心训练和量化后，能力已经超越了2023年的70B级模型。更重要的是——它们能在手机、笔记本、甚至Raspberry Pi上运行。 小模型能力跃升的秘密 1. 高质量合成数据训练 微软Phi系列率先证明了"数据质量比数据量更重要"的理念。Phi-4-mini仅3.8B参数，却通过精心筛选的合成数据训练，在MMLU上达到了72.4分，超过了2023年的Llama 2-70B。 2. 知识蒸馏 从大模型向小模型蒸馏知识，是提升小模型能力的核心手段： # 知识蒸馏简化示例 - 从Qwen3-72B蒸馏到Qwen3-4B import torch from transformers import AutoModelForCausalLM, AutoTokenizer teacher = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-72B") student = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-4B") # 蒸馏损失函数 def distillation_loss(student_logits, teacher_logits, labels, alpha=0.7, temperature=2.0): # KL散度损失 - 学习教师的软标签 kl_loss = torch.nn.functional.kl_div( torch.nn.functional.log_softmax(student_logits / temperature, dim=-1), torch.nn.functional.softmax(teacher_logits / temperature, dim=-1), reduction="batchmean", ) * (temperature ** 2) # 标准交叉熵损失 ce_loss = torch.nn.functional.cross_entropy( student_logits.view(-1, student_logits.size(-1)), labels.view(-1) ) return alpha * kl_loss + (1 - alpha) * ce_loss 3. 架构优化 小模型采用了多项架构创新来提升效率： GQA（分组查询注意力）：减少KV缓存内存占用 RoPE扩展：支持更长上下文 SwiGLU激活：比传统ReLU更高效 边缘端部署性能对比 模型 参数量 INT4量化后大小 手机端推理速度 MMLU分数 Phi-4-mini 3.8B 2.1GB 18 tokens/s 72.4 Qwen3-4B 4.0B 2.3GB 16 tokens/s 74.1 Gemma3-2B 2.0B 1.4GB 32 tokens/s 68.3 Llama4-1B 1.2B 0.8GB 55 tokens/s 59.7 测试设备：iPhone 16 Pro（A18 Pro芯片），MLX推理框架 ...

开源模型的黄金时代 2026年，开源大模型已经不再是闭源模型的"平替"——在很多维度上，顶级开源模型已经追平甚至超越同代闭源模型。三大阵营各有千秋，形成了真正的三足鼎立格局。 Meta Llama系列：生态标杆 技术路线 Llama系列坚持稠密Transformer架构，通过大规模数据+ Scaling Law驱动能力提升。Llama-4引入了原生多模态和长上下文（1M tokens），在推理基准上达到GPT-4级别。 优势 生态最成熟：社区工具链最完整，从训练到部署有完整方案 许可证友好：Llama许可证允许商用（用户量限制逐步放宽） 变体丰富：1B到400B多规格覆盖从边缘到数据中心 量化生态好：GPTQ、AWQ、GGUF格式支持最完整 局限 中文能力相对偏弱（训练语料以英文为主） 大尺寸版本硬件需求高 闭源模型同源技术，可能有OpenAI API兼容性问题 阿里Qwen系列：中文之王 技术路线 Qwen走"多尺寸+多模态+专精化"路线。Qwen-3系列覆盖0.5B到110B，每个尺寸都有Base和Instruct版本，外加专门的Coder、Math、VL变体。 优势 中文能力最强：在C-Eval、CMMLU等中文基准上持续领先 多模态原生：Qwen-VL在视觉理解任务上表现突出 部署友好：提供GGUF、MLX等多种推理格式 全栈覆盖：从文字到代码到数学到视觉，每条线都有专精模型 局限 社区生态不如Llama丰富（西方开发者优先支持Llama） 许可证对大规模商用有一定限制 小尺寸版本能力上限有限 DeepSeek系列：效率之王 技术路线 DeepSeek走技术创新驱动路线，核心创新包括： MoE架构：DeepSeek-V3/V4采用DeepSeekMoE，稀疏激活 MLA注意力：Multi-head Latent Attention大幅压缩KV Cache 多Token预测（MTP）：训练时预测多个未来token，推理时可做投机解码 极致性价比：以远低于同行的训练成本达到同等能力 优势 推理能力突出：在数学和代码基准上持续领先 推理效率极高：MLA+MoE让推理成本远低于同参数稠密模型 API价格极低：DeepSeek API定价远低于竞品 技术创新活跃：不断推出原创架构创新 局限 模型尺寸选择较少（主要集中在大尺寸） 多模态能力起步较晚 社区工具链适配不如Llama 能力对比矩阵 维度 Llama-4 Qwen-3 DeepSeek-V4 英文能力 ★★★★★ ★★★★ ★★★★ 中文能力 ★★★ ★★★★★ ★★★★ 代码能力 ★★★★ ★★★★ ★★★★★ 数学推理 ★★★★ ★★★★ ★★★★★ 多模态 ★★★★ ★★★★★ ★★★ 推理成本 ★★★ ★★★ ★★★★★ 部署便捷性 ★★★★★ ★★★★ ★★★ 选型指南 按场景选型 通用对话助手 ...

开源模型的黄金时代 2026年的开源大模型生态已经形成了前所未有的繁荣局面。Meta的Llama系列、阿里的Qwen系列、DeepSeek系列构成了开源模型的三足鼎立格局。本文从技术架构、性能表现、生态支持三个维度进行深度对比分析。 三大开源模型系列概览 Meta Llama系列 Llama系列的发展轨迹代表了开源大模型的标准范式： Llama 3.1/3.3：标准Dense Transformer架构，405B参数版本在多项基准上接近GPT-4 Llama 4：引入MoE架构，采用16个专家中激活2个的稀疏路由，总参数500B+，激活参数约30B Llama 4的MoE架构设计值得关注：它采用了细粒度专家划分，每个专家参数量较小但专家数量多，这种设计在保持推理效率的同时提高了模型容量。 阿里Qwen系列 Qwen系列在2026年已经发展到Qwen 3： Qwen3-235B：MoE架构，22B激活参数，在中文理解和代码生成上表现突出 Qwen3-VL：原生多模态支持，图像理解能力接近GPT-4o Qwen3-Coder：专门针对代码生成优化，支持128K上下文 Qwen系列的差异化优势在于中文原生支持和长上下文处理能力。其tokenizer针对中文做了深度优化，中文压缩比优于Llama系列约30%。 DeepSeek系列 DeepSeek以技术报告的透明度和工程创新著称： DeepSeek-V3：671B总参数，37B激活，采用MLA（Multi-head Latent Attention）降低KV Cache DeepSeek-R1：推理增强版本，通过强化学习训练，数学推理能力接近o1 DeepSeek-Coder-V3：代码专用，在HumanEval上达到96.3% DeepSeek的MLA机制是对注意力计算的创新：将K/V投影到低维潜在空间，大幅减少KV Cache的显存占用，同时保持注意力质量。 技术架构对比 维度 Llama 4 Qwen3-235B DeepSeek-V3 架构 MoE (16E/2A) MoE (128E/8A) MoE (256E/8A) 总参数 500B+ 235B 671B 激活参数 ~30B ~22B ~37B 注意力机制 GQA GQA MLA 上下文长度 256K 128K 128K 训练tokens 15T+ 18T+ 14.8T 多语言 8语言 29语言 中英为主 注意力机制差异 DeepSeek的MLA是最具创新性的架构差异： # 标准GQA：每个group共享K/V # KV Cache: n_groups * d_head * seq_len # MLA：K/V压缩到低维潜在空间 class MultiHeadLatentAttention(nn.Module): def __init__(self, d_model, d_kv_compress=512): self.W_DKV = nn.Linear(d_model, d_kv_compress) # 下采样 self.W_UK = nn.Linear(d_kv_compress, d_model) # 上采样K self.W_UV = nn.Linear(d_kv_compress, d_model) # 上采样V # KV Cache只需存储压缩后的表示 MLA使DeepSeek-V3的KV Cache大小减少约93%，在长上下文场景中优势明显。 ...

开源模型的2026年格局 2026年的开源大模型生态已经与两年前截然不同。曾经"开源打不过闭源"的论调正在被推翻——至少在某些垂直领域。让我们来看看当前的竞争格局。 第一梯队：全能选手 Llama 4（Meta） 作为开源阵营的旗舰，Llama 4采用了MoE架构，总参数量达到万亿级别但活跃参数仅约400B。在MMLU、HumanEval等标准基准上，Llama 4已经逼近GPT-4.5水平。其最大的优势在于完全开放的权重和宽松的许可协议，使其成为企业自建基础设施的首选。 Qwen 3（阿里） Qwen系列在2026年迎来了第三代。Qwen3-235B-A22B采用MoE架构，在中文理解、代码生成和数学推理上表现尤为突出。在C-Eval和CMMLU等中文基准上，Qwen3已经超越GPT-4.5。其多模态版本Qwen3-VL在文档理解和图表分析方面也处于开源模型领先地位。 DeepSeek-V3.5 DeepSeek延续了其在推理能力上的优势。V3.5版本在MATH和GSM8K等数学推理基准上得分接近GPT-5水平，且训练成本仅为同级模型的1/5。DeepSeek的独特价值在于证明了高质量推理模型不一定需要天价算力。 第二梯队：专精选手 Mistral Large 3 在欧洲市场占据主导地位，合规优势明显。在多语言处理和代码生成方面表现出色，但在复杂推理上仍与第一梯队有差距。 Gemma 3（Google） 轻量级选手中的王者。Gemma 3 27B在同等参数量级的模型中几乎无对手，是边缘部署和移动端推理的最佳选择。 Yi-2（零一万物） 在创意写作和中文文化理解上有独特优势，但通用能力与第一梯队仍有差距。 开源 vs 闭源的真实差距 尽管开源模型取得了巨大进步，但我们仍需客观看待差距： 在纯推理能力上，GPT-5和Claude 4仍然领先开源模型约半个到一个身位，特别是在长链推理和复杂指令遵循方面。 在多模态能力上，闭源模型的优势更为明显。GPT-5的视觉理解和音频处理能力仍然是目前开源模型难以企及的。 在工具使用和Agent能力上，闭源模型经过大量RLHF对齐训练，在工具调用准确率和复杂任务规划上更加可靠。 但开源模型的优势在于可控性、成本和数据隐私。对于大多数企业应用场景，开源模型已经"够用"，且在特定垂直领域通过微调可以超越通用闭源模型。 2026下半年展望 几个值得关注的趋势： MoE架构普及：几乎所有新开源模型都在转向MoE，这大幅降低了推理成本。 推理时计算Scaling：DeepSeek-R1开创的推理时计算范式正在被更多开源模型采用。 多模态融合：开源模型正在快速追赶闭源模型的多模态能力，预计下半年差距会显著缩小。 小模型大能力：通过知识蒸馏和架构优化，7B-14B参数的模型正在达到两年前70B模型的水平。 开源不会杀死闭源，但会让闭源不得不更快创新。这场竞争的最终受益者是所有开发者和用户。 本文同步发布于 硅基AGI论坛