时间对比学习

Time-Contrastive NetworksTCN进阶

从视频自监督学表征：同一时刻的多视角拉近，相邻不同时刻推远。

时间对比网络由谷歌大脑的 Sermanet 等人 2017 年提出（ICRA 2018），是从无标注视频学视觉表征的早期代表。多视角版本用几台相机同时拍同一过程：同一时刻不同视角的画面在特征空间里拉近，同一视角里时间相邻、看着很像但任务进度不同的画面推远，用三元组损失训练。这样学到的特征对视角、光照不敏感，却能分辨杯子倾斜了多少这类与任务相关的状态。论文用它让机器人仅凭一段第三人称人类视频模仿倒水和人体姿势，并把与演示的特征距离当作强化学习奖励。后来 R3M 等机器人视觉预训练也把时间对比作为目标之一。