技术原理

Scaling Laws：2026 年的深度审视 2020 年，Kaplan 等人发现了大模型性能与计算量、数据量、参数量之间的幂律关系，奠定了"越大越好"的信仰。2026 年，随着 GPT-5、DeepSeek V4 等万亿参数模型的出现，我们需要重新审视：Scaling Laws 还成立吗？我们是否已经撞墙？ 一、Scaling Laws 基础回顾 1.1 Kaplan et al. (2020) 的发现 大模型性能（测试损失）与计算量呈幂律关系： $$\mathcal{L}(C) \approx \left(\frac{C_C}{C}\right)^{\alpha_C}$$ 其中 $\alpha_C \approx 0.05$，这意味着计算量增加 10 倍，损失仅降低约 17%。 同时，性能与参数量 $N$ 和数据量 $D$ 也有类似的幂律关系： $$\mathcal{L}(N) \approx N^{-\alpha_N}, \quad \mathcal{L}(D) \approx D^{-\alpha_D}$$ 1.2 Chinchilla (2022) 的修正 Chinchilla 发现：之前的大模型"太小了"。最优的模型规模应与数据量成正比： $$\text{最优 } N^* \approx 20 \cdot D^{0.5}$$ 如果训练 1T tokens，最优模型规模是 20B，而非 GPT-3 的 175B。 这带来了"Chinchilla 赢家"的概念：用更多 tokens 训练更小的模型，可以达到相同的性能但成本更低。 二、2026 年的新发现 2.1 计算最优 Scaling vs 涌现 Scaling 2024-2026 年的研究表明，存在两种不同的 Scaling 模式： ...

涌现能力：量变引起质变的 AI 奇迹 大模型最令人着迷的现象之一是"涌现"——当模型规模超过某个阈值时，某些能力会突然出现。这种从无到有的质变，是深度学习最深刻的发现之一。本文系统分析涌现能力的现象、机制和临界点。 一、什么是涌现能力 1.1 定义 涌现能力（Emergent Abilities）是指：模型在较小规模时完全不具备，但在规模超过某个阈值后突然出现的能力。 $$\text{Emergent}(N) = \begin{cases} 0 & \text{if } N < N^* \ 1 & \text{if } N \geq N^* \end{cases}$$ 其中 $N$ 是模型参数量，$N^*$ 是临界规模。 1.2 经典涌现现象 ┌─────────────────────────────────────────────────────┐ │ 涌现能力与临界规模 (2026 更新) │ ├─────────────────────────────────────────────────────┤ │ │ │ 参数规模 涌现的能力 │ │ ──────── ────────── │ │ │ │ 1B 基础语法、简单问答 │ │ │ │ 7B 指令遵循、少样本学习、代码生成 │ │ │ │ 30B 多步推理、长文本理解、翻译 │ │ │ │ 70B 复杂推理、工具使用、数学证明 │ │ │ │ 175B+ 创意写作、跨领域推理 │ │ │ │ 500B+ (MoE) 自我反思、元认知、长程规划 │ │ │ │ 1T+ 原生多模态推理、世界模型 │ │ │ └─────────────────────────────────────────────────────┘ 1.3 涌现的特征 涌现能力有三个关键特征： ...

多模态融合：让 AI 同时理解图像、视频与文本 多模态大模型是 2026 年 AI 的核心赛道。GPT-5、Gemini 2.5、Claude 4 都具备强大的多模态能力。而决定多模态模型能力的核心设计，就是模态融合架构。本文深入解析三大融合范式。 一、多模态融合的基本问题 1.1 模态鸿沟 不同模态的数据有截然不同的特性： 模态 数据类型 特征维度 时间序列 语义密度 文本 离散 Token 768-12288 序列 高 图像 连续像素 1024-8192 2D 空间 中 视频 连续帧 4096-8192 3D 时空 低 音频 连续波形 512-2048 1D 时间 低 融合的核心挑战：如何让模型在不同模态间建立语义对齐。 1.2 融合的三个层次 ┌─────────────────────────────────────────────────────┐ │ 多模态融合层次 │ ├─────────────────────────────────────────────────────┤ │ │ │ 层次1: 表示对齐 (Representation Alignment) │ │ - 将不同模态映射到统一空间 │ │ - 如 CLIP: 图像和文本嵌入到同一空间 │ │ │ │ 层次2: 特征融合 (Feature Fusion) │ │ - 在特征层面组合多模态信息 │ │ - 如 Cross-Attention: 图像特征注入文本 │ │ │ │ 层次3: 推理融合 (Reasoning Fusion) │ │ - 在推理层面整合多模态 │ │ - 如 Chain-of-Thought 跨模态推理 │ │ │ └─────────────────────────────────────────────────────┘ 二、Early Fusion（早期融合） 2.1 核心思想 在模型输入层就将不同模态合并，统一处理： ...

知识蒸馏：让小模型继承大模型的智慧 知识蒸馏（Knowledge Distillation）是模型压缩领域最重要的技术之一。通过让小模型（Student）学习大模型（Teacher）的知识，可以在保持接近大模型性能的前提下，大幅减少参数和计算量。本文深入解析蒸馏的原理与实践。 一、知识蒸馏的理论基础 1.1 为什么蒸馏有效 Teacher 模型不仅输出正确答案，还输出软标签（Soft Labels）——包含了类别间的相似性关系。这些"暗知识"（Dark Knowledge）比硬标签包含更多信息： 硬标签 (Hard Label): 猫: 1.0, 狗: 0.0, 汽车: 0.0 → 只告诉你"这是猫" 软标签 (Teacher, T=3): 猫: 0.7, 狗: 0.25, 汽车: 0.05 → 告诉你"这是猫, 但很像狗, 完全不像汽车" → 包含了类别间的关系信息! 1.2 温度参数 Teacher 使用温度 $T$ 平滑输出分布： $$p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$ 温度越高，分布越平滑，暗知识越明显。常用 $T \in [2, 10]$。 1.3 蒸馏损失函数 $$\mathcal{L} = \alpha \cdot \mathcal{L}{KD} + (1 - \alpha) \cdot \mathcal{L}{CE}$$ ...

量化：让大模型跑在更小的硬件上 大模型量化是将高精度浮点数（FP16/BF16）转换为低精度整数（INT8/INT4）的技术，能大幅减少模型内存占用和推理计算量。2026 年，INT4 量化已成为大模型部署的标配。本文深入解析量化背后的数学原理。 一、量化的数学基础 1.1 均匀量化 量化的核心是将浮点数映射到有限离散值： $$q = \text{round}\left(\frac{x}{s}\right) + z$$ 其中： $x$：原始浮点值 $q$：量化后的整数值 $s$：缩放因子（scale） $z$：零点（zero point） 反量化（恢复浮点值）： $$\hat{x} = s \cdot (q - z)$$ 1.2 对称量化 vs 非对称量化 对称量化（Symmetric）：$z = 0$，零点固定为 0 $$s = \frac{\max(|x|)}{2^{b-1} - 1}$$ 适用于权重（均值为 0 的正态分布）。 非对称量化（Asymmetric）：$z \neq 0$ $$s = \frac{x_{max} - x_{min}}{2^b - 1}$$ $$z = \text{round}\left(-\frac{x_{min}}{s}\right)$$ 适用于激活值（可能偏移，如 ReLU 后全为正）。 对称量化 (INT8): 浮点范围 [-127, 127] → 整数 [-127, 127] x = 0 → q = 0 s = max(|x|) / 127 非对称量化 (INT8): 浮点范围 [xmin, xmax] → 整数 [0, 255] x = 0 → q = z (可能不为 0) s = (xmax - xmin) / 255 1.3 量化误差 量化引入的误差： ...

大模型训练四阶段：从原始语料到对齐智能 大语言模型的训练是一个多阶段的复杂过程。从原始互联网文本到能与人类对齐的智能助手，需要经过预训练、监督微调、人类反馈强化学习（RLHF）和直接偏好优化（DPO）四个阶段。本文将全面解析这条训练链路。 一、训练流程总览 ┌─────────────────────────────────────────────────────────────┐ │ 大模型训练全流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 阶段1: 预训练 (Pre-training) │ │ 输入: 万亿 Token 原始语料 │ │ 目标: Next Token Prediction │ │ 产出: 基座模型 (Base Model) │ │ │ │ 阶段2: 监督微调 (SFT) │ │ 输入: 高质量指令-回复对 (10K-1M) │ │ 目标: 模仿专家回复 │ │ 产出: 指令模型 (Instruct Model) │ │ │ │ 阶段3: 人类反馈强化学习 (RLHF) │ │ 输入: 人类偏好数据 (A > B 对比) │ │ 目标: 最大化人类偏好奖励 │ │ 产出: 对齐模型 (Aligned Model) │ │ │ │ 阶段4: 直接偏好优化 (DPO) │ │ 输入: 同 RLHF 的偏好数据 │ │ 目标: 直接优化策略, 无需奖励模型 │ │ 产出: 进一步优化的对齐模型 │ │ │ └─────────────────────────────────────────────────────────────┘ 二、预训练（Pre-training） 2.1 训练目标 预训练使用Next Token Prediction（NTP）作为训练目标： ...

Ring Attention：突破 GPU 显存墙 当上下文窗口从 4K 扩展到 1M Token 时，单 GPU 的 KV Cache 存储和注意力计算已经无法满足需求。Ring Attention（环形注意力）通过将注意力计算分布到多 GPU，实现了超长上下文的训练和推理。 一、长上下文的挑战 1.1 注意力计算复杂度 标准注意力的计算和显存需求都是 $O(n^2)$： 对于 $n = 1,048,576$（1M Token）： 注意力矩阵：$10^{12}$ 元素 = 8 TB（FP16） 单 GPU A100 80GB 显存：只能放下 0.01 的注意力矩阵 即使使用 Flash Attention 减少 HBM 访问，单 GPU 也无法存储完整的注意力矩阵。 1.2 KV Cache 显存需求 每个 Token 需要存储 Key 和 Value 向量。以 DeepSeek V4（MLA 压缩后）为例： $$\text{KV Cache/Token} = 512 \times 2 \times 2 \text{ bytes} = 2 \text{ KB}$$ ...

连续批处理：推理吞吐的范式革命 在 LLM 推理系统中，如何高效处理并发请求是决定服务成本的核心问题。连续批处理（Continuous Batching）配合 PagedAttention，让 vLLM 实现了比传统推理框架高 5-20 倍的吞吐量。本文深入解析这项技术的原理与工程实现。 一、批处理的演进 1.1 静态批处理（Static Batching） 最简单的批处理方式：等待凑齐一批请求，然后一起推理，直到所有请求完成。 ┌────────────────────────────────────────────────────┐ │ 静态批处理 │ ├────────────────────────────────────────────────────┤ │ │ │ 时间→ 0 1 2 3 4 5 6 7 │ │ │ │ Req1 [G][G][G][G][G][D] ✓ │ │ Req2 [G][G][G][G][G][G][G][G] ✓ │ │ Req3 [G][G][D] ✓ │ │ Req4 [G][G][G][G][G][G][G][D] ✓ │ │ │ │ G=生成, D=完成(停止生成) │ │ │ │ 问题: Req3 在 t=2 就完成了, │ │ 但要等 Req2 到 t=7 整批才结束 │ │ GPU 利用率: ~35% │ └────────────────────────────────────────────────────┘ 核心问题：Padding 浪费 + 等待浪费。不同请求长度差异大，短请求要等长请求完成。 ...

投机解码：用小模型的"猜测"加速大模型 大模型推理的最大瓶颈是自回归生成的串行性——每生成一个 Token，都需要完整的前向传播。投机解码（Speculative Decoding）通过引入一个小型 Draft Model 来"猜测"多个 Token，再由大模型并行验证，打破了这一串行瓶颈。 一、标准推理的瓶颈 1.1 自回归推理 标准自回归推理中，生成 $N$ 个 Token 需要 $N$ 次串行前向传播： 步骤1: [prompt] → 大模型 → token_1 步骤2: [prompt, token_1] → 大模型 → token_2 步骤3: [prompt, token_1, token_2] → 大模型 → token_3 ... 步骤N: [prompt, token_1, ..., token_{N-1}] → 大模型 → token_N 总延迟 = N × 单步前向延迟 每次前向传播只生成 1 个 Token，但需要计算所有参数。对于 70B 模型，单步前向约 30ms，生成 1000 个 Token 需要约 30 秒。 1.2 为什么不能并行 自回归的数学约束： ...

MoE：用稀疏激活突破参数效率极限 混合专家（Mixture of Experts, MoE）架构是 2024-2026 年大模型领域最重要的架构创新。它让模型在不增加推理计算量的前提下大幅扩展参数量，实现了"大模型的能力，小模型的速度"。本文将从原理到工程，全面解析 MoE 的演进。 一、MoE 基本原理 1.1 稀疏激活的核心思想 标准 Transformer 中，每个 Token 都通过所有参数计算（密集激活）。MoE 则让每个 Token 只激活部分参数（稀疏激活）： $$\text{MoE}(x) = \sum_{i \in \text{TopK}(G(x))} G(x)_i \cdot E_i(x)$$ 其中： $G(x) = \text{softmax}(W_g \cdot x)$ 是路由器（Gate/Router） $\text{TopK}(G(x))$ 选择概率最高的 $K$ 个专家 $E_i(x)$ 是第 $i$ 个专家的输出 ┌─────────────────────────────────────────────────────┐ │ MoE 层结构 │ ├─────────────────────────────────────────────────────┤ │ │ │ Input x ──► Router G(x) ──► Top-K 选择 │ │ │ │ │ ┌─────┬─────┬─────┬───┴───┐ │ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ │ │ ┌────┐┌────┐┌────┐┌────┐ ┌────┐ │ │ │ E1 ││ E2 ││ E3 ││ E4 │...│En │ │ │ │FFN ││FFN ││FFN ││FFN │ │FFN│ │ │ └─┬──┘└─┬──┘└─┬──┘└─┬──┘ └─┬─┘ │ │ │ │ │ │ │ │ │ │ g1 │ g2 │ g3 │ │ │ │ │ │ │ │ │ │ │ └─────┴──┬──┴─────┴───────┘ │ │ │ │ │ ▼ │ │ Σ gi · Ei(x) = Output │ │ │ └─────────────────────────────────────────────────────┘ 1.2 为什么 MoE 有效 MoE 的优势在于参数解耦： ...