Mixture of Depths：让 Transformer 学会跳过冗余层
固定深度的问题 标准 Transformer 的每一层都要处理每一个 token。无论是简单的"the"还是复杂的数学推导，都要经过全部 N 层的计算。 这合理吗？ 研究表明：不同 token 需要的计算量差异巨大。简单 token 在前几层就已经"完成"了表示学习，后面的层只是冗余计算。 Token "the" → Layer 1 ✓ → Layer 2 (冗余) → ... → Layer 32 (冗余) Token "integral" → Layer 1 → Layer 2 → ... → Layer 32 ✓ (需要全部层) 实验证据： 移除 50% 的浅层 token 处理，性能几乎不变（Elhoushi et al., 2024） 不同 token 的"最优层数"分布从 4 到 32 不等 约 40% 的前向计算是冗余的 Mixture of Depths 原理 核心思想 MoD（Raposo et al., 2024）借鉴了 Mixture of Experts（MoE）的思路，但不是在"专家"间路由，而是在层间路由： ...