标准化流

Normalizing Flow进阶

用一串可逆变换把简单分布变成复杂分布、能精确算出概率的生成模型。

标准化流是一类生成模型：从标准高斯这类简单分布出发，经过一串可逆的神经网络变换，得到复杂的数据分布。因为每步都可逆，用概率论的变量替换公式就能精确算出样本的似然，直接用最大似然训练；生成时采一个噪声、正向过一遍网络即可。代价是每层必须可逆，且雅可比行列式（衡量变换把体积放大缩小多少）要好算，网络结构受限。2015 年 Rezende 与 Mohamed 把它用于变分推断后广为人知，代表模型有 NICE、RealNVP、Glow。2018 年的连续标准化流把变换写成常微分方程；流匹配正是训练连续标准化流的一种免模拟方法，两者名字里的「流」同源。