LayerNorm

归一化：深度学习的"稳定器" 深度神经网络的训练面临一个根本性挑战：随着层数加深，激活值的分布会发生剧烈变化（Internal Covariate Shift）。这种分布偏移导致上层需要不断适应下层的输出分布变化，学习变得困难。归一化层通过将激活值"拉回"到稳定分布，有效缓解了这一问题。 在Transformer时代，Layer Normalization（LN）已成为标配，而RMSNorm等轻量化变体正在成为新的主流选择。 Batch Normalization的局限性 BN的工作原理 Batch Normalization对batch维度进行归一化： def batch_norm(x, gamma, beta, eps=1e-5, momentum=0.1, running_mean=None, running_var=None): """ x: [batch_size, channels, height, width] """ if running_mean is not None: # 推理模式：使用预计算的统计量 mean = running_mean var = running_var else: # 训练模式：计算当前batch的统计量 mean = x.mean(dim=(0, 2, 3), keepdim=True) var = x.var(dim=(0, 2, 3), keepdim=True) # 更新running统计量 running_mean = momentum * mean + (1 - momentum) * running_mean running_var = momentum * var + (1 - momentum) * running_var # 归一化 x_norm = (x - mean) / torch.sqrt(var + eps) # 仿射变换 return gamma.view(1, -1, 1, 1) * x_norm + beta.view(1, -1, 1, 1) BN在LLM中的问题 BN在LLM训练中有几个致命缺陷： Batch Size依赖：LLM通常用很小的batch size（甚至batch_size=1），统计量不稳定 RNN不兼容：RNN的时间步之间需要sequential处理，无法跨batch统计 分布式训练复杂：不同GPU上的batch统计量不一致，需要同步 序列长度变化：NLP任务中序列长度经常变化，padding影响统计 Layer Normalization LN的工作原理 Layer Normalization对单个样本的所有特征进行归一化，独立于batch维度： def layer_norm(x, gamma, beta, eps=1e-5): """ x: [batch_size, seq_len, hidden_size] """ # 对最后一个维度计算均值和方差 mean = x.mean(dim=-1, keepdim=True) var = x.var(dim=-1, keepdim=True) # 归一化 x_norm = (x - mean) / torch.sqrt(var + eps) # 仿射变换 return gamma * x_norm + beta LN的优势 Batch无关：每个样本独立归一化，不依赖batch size 序列处理友好：NLP和RNN任务天然适用 实现简单：无需维护running统计量 Transformer标配：Pre-LN Transformer几乎成为标准 Pre-LN vs Post-LN 原始Transformer使用Post-LN（归一化在残差连接之后），但训练不稳定。Pre-LN将归一化移到残差分支内部： ...

1. 归一化的必要性 深层神经网络中，各层输入的分布会随训练过程不断变化（Internal Covariate Shift），导致：训练不稳定、梯度消失/爆炸、收敛慢。归一化通过将激活值约束到合理范围来缓解这些问题。 2. Batch Normalization 为何不适用于 NLP？ BatchNorm 在 CV 中广泛使用，但在 NLP 中效果差： 变长序列：不同序列长度不同，Batch 维度统计不一致 推理与训练不一致：训练用 batch 统计量，推理用移动平均，序列长度变化时偏差大 batch size 敏感：NLP 训练常用小 batch + 梯度累积，BatchNorm 统计量不可靠 3. Layer Normalization 3.1 公式 对每个样本的每个 Token 独立归一化，沿特征维度计算统计量： $$ \mu = \frac{1}{d} \sum_{i=1}^{d} x_i $$ $$ \sigma^2 = \frac{1}{d} \sum_{i=1}^{d} (x_i - \mu)^2 $$ $$ \hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}} $$ $$ y_i = \gamma_i \hat{x}_i + \beta_i $$ ...