FiLM 特征调制

用条件信息给每个特征通道算一组缩放和偏移，去调制网络的中间特征。

FiLM 由 Ethan Perez、Aaron Courville 等人提出（AAAI 2018），是一种把条件信息注入神经网络的通用层。做法很简单：用一个小网络从条件（比如语言指令的向量）算出每个特征通道的缩放系数 γ 和偏移 β，再把中间特征变成 γ·x + β。原论文在视觉推理问答基准 CLEVR 上把当时最好的错误率减半。机器人里它很常见：RT-1 用 FiLM 把语言指令注入预训练的 EfficientNet 图像编码器，并把生成 γ、β 的层零初始化，让 FiLM 一开始相当于恒等变换，不破坏预训练权重；CNN 版扩散策略也在每个卷积层用 FiLM 注入观测特征。

例子RT-1 里，「拿起可乐罐」这句指令先经 Universal Sentence Encoder 变成向量，再通过 FiLM 调制 EfficientNet 各层特征，同一张图像在不同指令下就得到不同的视觉特征。

也叫

特征级线性调制、FiLM 层、FiLM 条件化

相关

自适应层归一化、语言条件策略、RT-1、扩散策略、EfficientNet、交叉注意力

来源

FiLM: Visual Reasoning with a General Conditioning Layer (Perez et al., AAAI 2018)
RT-1: Robotics Transformer for Real-World Control at Scale (arXiv 2212.06817)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)