归一化层（层归一化 / RMSNorm / 批归一化）

把网络中间特征拉回稳定数值范围的层，让深层网络训练更稳更快。

归一化层对中间特征做「减均值、除以标准差」一类的缩放，再乘上可学习的缩放和偏移，防止数值随层数加深而失控，让训练更稳。批归一化（BN，2015 年）在一个批次内统计每个通道的均值方差，是卷积网络标配，但依赖批大小，训练和推理时的算法也不同。层归一化（LN，2016 年）改在单个样本的全部特征上统计，训练推理一致，成为 Transformer 标配。RMSNorm（2019 年）去掉减均值，只除以均方根，更省计算，Llama 等大模型都用它，以它们为语言骨干的 VLA 也就多用 RMSNorm。扩散 Transformer 还常用自适应层归一化来注入时间步等条件。

例子扩散策略把 ResNet-18 视觉编码器里的批归一化全部换成组归一化（GroupNorm），原因是批归一化和扩散模型常用的指数移动平均（EMA）权重一起用时训练不稳定。

也叫

LayerNorm、BatchNorm、均方根层归一化、Norm 层

相关

自适应层归一化、Transformer、残差网络、卷积神经网络、Llama、指数移动平均

来源

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (arXiv:1502.03167)
Layer Normalization (arXiv:1607.06450)
Root Mean Square Layer Normalization (arXiv:1910.07467)