Llama 系列全景
Meta 的 Llama 系列是开源大模型生态的基石。从 2023 年 2 月 Llama 1 发布至今，四代模型定义了开源 LLM 的行业标准。每一代都在参数规模、训练数据量、上下文长度和架构设计上实现跨越式提升。
Llama 1：开源的起点（2023.02）
Llama 1 是 Meta 首个公开发布的大语言模型系列，标志着高质量开源 LLM 时代的开始。
核心规格：
| 模型 | 参数量 | 层数 | 隐藏维度 | 训练数据 |
|---|---|---|---|---|
| Llama-7B | 7B | 32 | 4096 | 1.0T tokens |
| Llama-13B | 13B | 40 | 5120 | 1.0T tokens |
| Llama-33B | 33B | 60 | 6656 | 1.0T tokens |
| Llama-65B | 65B | 80 | 8192 | 1.0T tokens |
架构特点：
- 标准 Decoder-only Transformer
- 采用 RoPE（旋转位置编码）替代绝对位置编码
- RMSNorm 替代 LayerNorm，训练更稳定
- SwiGLU 激活函数
许可证： 非商业许可，仅限研究用途。这一限制直接催生了 Alpaca、Vicuna 等一系列微调模型。
Llama 2：商业化破冰（2023.07）
Llama 2 的最大变化是许可证开放为商用，这改变了整个开源 AI 生态格局。
关键改进：
- 训练数据增至 2.0T tokens
- 上下文长度从 2K 扩展到 4K
- 引入 GQA（Grouped Query Attention），推理效率提升
- 发布 Chat 版本，使用 RLHF 对齐
| 模型 | 参数量 | 注意力机制 | 上下文 | 训练数据 |
|---|---|---|---|---|
| Llama2-7B | 7B | MHA | 4K | 2.0T |
| Llama2-13B | 13B | MHA | 4K | 2.0T |
| Llama2-70B | 70B | GQA | 4K | 2.0T |
许可证： Llama 2 Community License，允许商用，但月活超 7 亿需单独授权。
社区生态爆发
Llama 2 的商用许可引发了微调生态的爆发：
Llama 2 基座
├── Code Llama（代码微调）
├── Llama 2 Long（长上下文扩展）
├── Vicuna / WizardLM（指令微调）
├── Chinese-LLaMA（中文扩展）
└── Llama Guard（安全微调）
Llama 3：性能飞跃（2024.04）
Llama 3 在训练数据规模和质量上都实现了量级提升。
核心改进：
- 训练数据 15T tokens（Llama 2 的 7.5 倍）
- 上下文 8K（后续 3.1 扩展到 128K）
- 词表从 32K 扩展到 128K（tiktoken-based）
- 所有尺寸统一使用 GQA
- 引入高质量数据筛选管线
| 模型 | 参数量 | 上下文 | 训练数据 | 词表大小 |
|---|---|---|---|---|
| Llama3-8B | 8B | 8K | 15T | 128K |
| Llama3-70B | 70B | 8K | 15T | 128K |
Llama 3.1（2024.07）
3.1 版本引入了 405B 旗舰模型，并将上下文扩展至 128K：
| 模型 | 参数量 | 上下文 | 特点 |
|---|---|---|---|
| Llama3.1-8B | 8B | 128K | 消费级可部署 |
| Llama3.1-70B | 70B | 128K | 企业级主力 |
| Llama3.1-405B | 405B | 128K | 接近 GPT-4 级别 |
405B 是当时最大的开源 Dense 模型，MMLU 得分 87.3，接近 GPT-4o。
Llama 3.2（2024.09）
3.2 版本引入了多模态和小模型：
- Vision 模型（11B/90B）：集成视觉编码器
- 小模型（1B/3B）：面向边缘设备
- LoRA 微调优化：官方支持高效微调
Llama 4：架构革新（2025）
Llama 4 代表了 Meta 在架构层面的重大革新。
核心变化：
MoE 架构：Llama 4 首次采用 MoE 设计
- Llama 4 Scout：109B 总参数，17B 激活，16 个专家
- Llama 4 Maverick：400B 总参数，17B 激活，128 个专家
原生多模态：从训练初期即融合文本和图像，而非后期拼接
超长上下文：Scout 支持 10M token 上下文（通过 RoPE 缩放）
# Llama 4 MoE 路由示意（伪代码）
class Llama4MoE(nn.Module):
def __init__(self, d_model, n_experts=128, top_k=1):
# Llama 4 采用 top-1 路由，每个 token 只激活 1 个专家
# 这与 DeepSeek 的 top-8 策略不同
self.router = nn.Linear(d_model, n_experts)
self.experts = nn.ModuleList([FFN(d_model) for _ in range(n_experts)])
def forward(self, x):
route_idx = self.router(x).argmax(dim=-1)
# 每个 token 只需计算 1 个专家，推理极快
return self.experts[route_idx](x)
性能对比
| 基准 | Llama3.1-405B | Llama4 Maverick | GPT-4o | DeepSeek-V3 |
|---|---|---|---|---|
| MMLU | 87.3 | 88.1 | 88.7 | 88.5 |
| GPQA | 51.1 | 69.8 | 53.6 | 59.1 |
| MATH | 73.8 | 80.4 | 76.6 | 61.6 |
四代架构演进总结
Llama 1 (2023.02) Llama 2 (2023.07) Llama 3 (2024.04) Llama 4 (2025)
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ Dense only │ │ Dense only │ │ Dense only │ │ MoE 架构 │
│ MHA │───→ │ GQA(70B) │───→ │ GQA(全部) │───→ │ Top-1 路由 │
│ RoPE │ │ RoPE │ │ RoPE │ │ Native MM │
│ 2K ctx │ │ 4K ctx │ │ 8K→128K │ │ 10M ctx │
│ 1T tokens │ │ 2T tokens │ │ 15T tokens │ │ 30T+ tokens │
│ 非商用 │ │ 商用许可 │ │ 商用许可 │ │ 商用许可 │
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
部署建议
| 场景 | 推荐模型 | 显存需求 | 备注 |
|---|---|---|---|
| 手机/IoT | Llama3.2-1B | ~2 GB (INT4) | ONNX/MLC 部署 |
| 消费级 GPU | Llama3.1-8B | ~6 GB (INT4) | vLLM/Ollama |
| 工作站 | Llama3.1-70B | ~40 GB (INT4) | 双卡或量化 |
| 企业级 | Llama4 Maverick | ~200 GB (INT8) | 多卡推理 |
| 研究用途 | Llama3.1-405B | ~230 GB (INT4) | 4×A100 80GB |
# Ollama 一键部署 Llama 3.1 8B
ollama run llama3.1:8b
# vLLM 部署 Llama 3.1 70B
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-70B-Instruct \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.9 \
--max-model-len 131072
总结
Llama 系列四代演进清晰地展示了开源大模型的发展轨迹：从非商用研究模型到商用许可，从 Dense 到 MoE，从 2K 到 10M 上下文。Llama 4 的 MoE 架构标志着 Meta 正式拥抱高效推理路线。对于开发者而言，Llama 3.1-8B 是目前消费级硬件上最好的开源选择之一，而 Llama 4 Maverick 在企业级场景中提供了极具竞争力的性能。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞，认知差异创造无限可能。