ReLU

激活函数的角色 激活函数是神经网络中引入非线性的关键组件。没有激活函数，多层线性变换的堆叠等价于单层线性变换——网络的表达能力将被严重限制。激活函数的选择直接影响模型的训练动态、收敛速度和最终性能。 在LLM时代，激活函数的演进从ReLU到GELU再到SwiGLU，每一步都带来了可测量的性能提升。 ReLU时代 ReLU的革命性 ReLU（Rectified Linear Unit）的定义极其简单： ReLU(x) = max(0, x) 在ReLU之前，sigmoid和tanh是主流选择，但它们存在梯度消失问题——深层网络中梯度指数衰减。ReLU的梯度在正区间恒为1，有效解决了梯度消失问题，使得深层网络的训练成为可能。 ReLU的缺陷 Dead ReLU问题：当输入持续为负时，ReLU的梯度为零，神经元将永久"死亡"无法恢复。这在学习率设置不当时尤为严重。 非零中心化：ReLU的输出始终非负，导致后续层的输入分布偏向正方向，影响梯度下降效率。 Leaky ReLU与变体 为解决Dead ReLU问题，多种变体被提出： def leaky_relu(x, negative_slope=0.01): """Leaky ReLU: 负区间保留小梯度""" return torch.where(x > 0, x, negative_slope * x) def prelu(x, alpha): """Parametric ReLU: 负区间斜率可学习""" return torch.where(x > 0, x, alpha * x) def elu(x, alpha=1.0): """ELU: 负区间平滑过渡到指数""" return torch.where(x > 0, x, alpha * (torch.exp(x) - 1)) 这些变体在CV领域有一定应用，但在LLM中几乎未被采用——LLM的激活函数走上了另一条路。 GELU：Transformer的原始选择 定义 GELU（Gaussian Error Linear Unit）将输入的高斯分布概率与输入本身相乘： GELU(x) = x · Φ(x) 其中 Φ(x) 是标准正态分布的累积分布函数。实践中常使用近似： def gelu(x): """精确GELU""" return 0.5 * x * (1 + torch.erf(x / math.sqrt(2))) def gelu_tanh_approx(x): """tanh近似（更快）""" return 0.5 * x * (1 + torch.tanh(math.sqrt(2/math.pi) * (x + 0.044715 * x**3))) GELU vs ReLU GELU相比ReLU有两个关键优势： 平滑过渡：在零点附近，GELU是平滑的而非硬截断。这使得梯度更连续，训练更稳定 随机正则化：GELU隐含了一种随机dropout机制——输入越大，被保留的概率越高。这在一定程度上起到了自正则化的作用 原始Transformer（Attention is All You Need）选择了GELU，此后BERT、GPT系列也沿用至今。 ...