Meta

Meta的开源野心：Llama 4来了 2026年6月，Meta正式发布Llama 4系列开源大模型。此次发布包含三个规格：Llama 4 Scout（67B）、Llama 4 Maverick（146B）和Llama 4 Behemoth（405B）。其中旗舰模型Behemoth采用混合专家架构，总参数405B，激活参数仅52B，在多项基准测试中已逼近GPT-5水平。 这是开源大模型社区的重大里程碑。Llama 4 Behemoth是迄今为止性能最强的完全开源模型，其权重、训练方法和评估结果全部公开。 架构详解 MoE架构设计 Llama 4全系采用MoE（Mixture of Experts）架构，这是Meta首次在大模型中使用MoE： # Llama 4 Behemoth MoE配置 llama4_config = { # 模型结构 "num_layers": 48, "hidden_size": 16384, "num_attention_heads": 128, "num_kv_heads": 16, # GQA "head_dim": 128, # MoE配置 "moe_layers": "all", # 所有层都使用MoE "num_experts": 64, "experts_per_token": 8, "router_type": "top_k_with_auxiliary_loss", "auxiliary_loss_weight": 0.01, # 总参数: 405B, 激活参数: 52B # 等效dense模型: ~120B # 上下文 "max_context_length": 524288, # 512K "rope_base": 500000, "rope_scaling": "dynamic", # 词表 "vocab_size": 256000, } 与Llama 3的Dense架构相比，Llama 4的MoE设计有几个关键特点： 全部层使用MoE：不同于某些MoE模型只在部分层使用专家路由，Llama 4在所有48层都使用MoE 64专家8激活：每token仅激活8个专家，计算量相当于一个52B的Dense模型 动态RoPE缩放：支持最高512K上下文窗口，且在推理时可以动态调整 注意力机制创新 Llama 4在注意力机制上做了两个重要改进： ...

引言 2026年1月，Meta发布了Llama 4系列——这是其旗舰开源模型的第四代。Llama 4系列首次引入了MoE（Mixture of Experts）架构，标志着Meta从Dense模型向稀疏模型的战略转变。作为全球影响力最大的开源大模型系列，Llama 4的表现备受期待。本文将对Llama 4全系列进行深度评测。 系列概览 Llama 4系列包含四个规格： 模型 总参数 激活参数 架构 上下文 许可证 Llama 4 405B 405B 45B MoE 256K Llama 4 Community License Llama 4 70B 70B 12B MoE 128K Llama 4 Community License Llama 4 8B 8B 2B Dense 128K Llama 4 Community License Llama 4 1B 1B 1B Dense 32K Llama 4 Community License 架构变化 Llama 4的主要架构创新： 1. MoE架构引入 405B和70B版本首次采用MoE架构，这是Meta在开源领域的重大突破： 405B：128个专家，每次激活8个，4个共享专家 70B：64个专家，每次激活4个，2个共享专家 路由策略：Top-K + 负载均衡损失 2. GQA升级 ...

Llama 4：开源大模型的新纪元 2026 年 4 月 27 日，Mark Zuckerberg 在 Meta Connect 大会上正式发布 Llama 4 系列。这是 Meta 迄今为止最强大的开源大模型，也是开源 AI 社区的里程碑事件。 Llama 4 家族 Llama 4 系列包含四个版本，覆盖从边缘到数据中心的全部部署场景： Llama 4 Scout (8B)：轻量级模型，专为移动设备和边缘计算设计。在 MMLU 上得分 78.3，超过同级别的 GPT-4 Mini。可在 8GB 内存的智能手机上本地运行。 Llama 4 Maverick (70B)：中型模型，面向中小企业和研究机构。支持 128K 上下文窗口，在 HumanEval 上得分 89.1，逼近闭源模型水平。 Llama 4 Behemoth (400B)：旗舰级模型，采用 Mixture-of-Experts 架构，活跃参数约 50B。在多项基准测试中与 GPT-5.5 和 Gemini 4.0 Ultra 处于同一梯队。 Llama 4 Titan (1.2T)：超大规模模型，仅供研究用途，不公开发开。Meta 表示 Titan 主要用于"AI Safety 研究和前沿能力探索"。 开源协议的调整 Llama 4 的开源协议相比 Llama 3 有重要变化： ...

Llama 系列全景 Meta 的 Llama 系列是开源大模型生态的基石。从 2023 年 2 月 Llama 1 发布至今，四代模型定义了开源 LLM 的行业标准。每一代都在参数规模、训练数据量、上下文长度和架构设计上实现跨越式提升。 Llama 1：开源的起点（2023.02） Llama 1 是 Meta 首个公开发布的大语言模型系列，标志着高质量开源 LLM 时代的开始。 核心规格： 模型 参数量 层数 隐藏维度 训练数据 Llama-7B 7B 32 4096 1.0T tokens Llama-13B 13B 40 5120 1.0T tokens Llama-33B 33B 60 6656 1.0T tokens Llama-65B 65B 80 8192 1.0T tokens 架构特点： 标准 Decoder-only Transformer 采用 RoPE（旋转位置编码）替代绝对位置编码 RMSNorm 替代 LayerNorm，训练更稳定 SwiGLU 激活函数 许可证： 非商业许可，仅限研究用途。这一限制直接催生了 Alpaca、Vicuna 等一系列微调模型。 Llama 2：商业化破冰（2023.07） Llama 2 的最大变化是许可证开放为商用，这改变了整个开源 AI 生态格局。 ...

Llama 4：Meta 的开源反击能否成功？ Meta 在 2026 年 Q2 正式发布 Llama 4 系列，包含三个型号：Scout（17B）、Maverick（120B）、Behemoth（400B+ MoE）。这是 Meta 在开源大模型领域的全面反击，直接对标 Qwen3.5 和 DeepSeek V4。 模型家族 Llama 4 Scout（17B）：面向端侧和单卡部署，采用密集 Transformer 架构，支持 128K 上下文。 Llama 4 Maverick（120B）：旗舰密集模型，支持 256K 上下文，针对多模态优化。 Llama 4 Behemoth（400B+ MoE，激活 80B）：对标 GPT-5.5 和 Claude Opus 4.1 的旗舰型号，采用 MoE 架构。 架构创新 Early Fusion 多模态：Llama 4 采用 Early Fusion 视觉架构，图像 patch 在第一层就与文本 token 融合（类似 Gemini 4.0 的思路），而不是像 Llama 3.2 那样用单独视觉塔。 Grouped Query Attention V2：升级版 GQA，支持动态头数分配，在长上下文场景下 KV Cache 占用减少 60%。 ...