Mixtral

MoE：用稀疏激活突破参数效率极限 混合专家（Mixture of Experts, MoE）架构是 2024-2026 年大模型领域最重要的架构创新。它让模型在不增加推理计算量的前提下大幅扩展参数量，实现了"大模型的能力，小模型的速度"。本文将从原理到工程，全面解析 MoE 的演进。 一、MoE 基本原理 1.1 稀疏激活的核心思想 标准 Transformer 中，每个 Token 都通过所有参数计算（密集激活）。MoE 则让每个 Token 只激活部分参数（稀疏激活）： $$\text{MoE}(x) = \sum_{i \in \text{TopK}(G(x))} G(x)_i \cdot E_i(x)$$ 其中： $G(x) = \text{softmax}(W_g \cdot x)$ 是路由器（Gate/Router） $\text{TopK}(G(x))$ 选择概率最高的 $K$ 个专家 $E_i(x)$ 是第 $i$ 个专家的输出 ┌─────────────────────────────────────────────────────┐ │ MoE 层结构 │ ├─────────────────────────────────────────────────────┤ │ │ │ Input x ──► Router G(x) ──► Top-K 选择 │ │ │ │ │ ┌─────┬─────┬─────┬───┴───┐ │ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ │ │ ┌────┐┌────┐┌────┐┌────┐ ┌────┐ │ │ │ E1 ││ E2 ││ E3 ││ E4 │...│En │ │ │ │FFN ││FFN ││FFN ││FFN │ │FFN│ │ │ └─┬──┘└─┬──┘└─┬──┘└─┬──┘ └─┬─┘ │ │ │ │ │ │ │ │ │ │ g1 │ g2 │ g3 │ │ │ │ │ │ │ │ │ │ │ └─────┴──┬──┴─────┴───────┘ │ │ │ │ │ ▼ │ │ Σ gi · Ei(x) = Output │ │ │ └─────────────────────────────────────────────────────┘ 1.2 为什么 MoE 有效 MoE 的优势在于参数解耦： ...

Mistral AI 公司背景 Mistral AI 成立于 2023 年 4 月，由前 DeepMind 和 Meta 研究员创立，是欧洲最有影响力的 AI 公司。其核心策略：小团队、高效架构、开源优先。 Mistral 的技术路线与众不同——在所有人追求更大 Dense 模型时，他们率先将 MoE 架构做到实用级别。 模型矩阵 模型 参数量 激活参数 类型 上下文 许可证 Mistral 7B 7B 7B Dense 32K Apache 2.0 Mixtral 8x7B 47B 13B MoE 32K Apache 2.0 Mixtral 8x22B 141B 39B MoE 64K Apache 2.0 Mistral Large 2 123B 123B Dense 128K 商用 Codestral 22B 22B Dense 32K 商用 Mathstral 7B 7B 7B Dense 32K Apache 2.0 Pixtral 12B 12B 12B 多模态 128K 商用 Magistral - - 推理模型 - 商用 Mistral 7B：小模型标杆 Mistral 7B 是 Mistral 的开山之作，以 7B 参数量在多个基准上超越 Llama 2 13B。 ...