逆动力学模型

看前后两帧画面，推断中间做了什么动作的模型。

逆动力学模型和正向动力学模型方向相反：输入当前状态 s_t 和下一状态 s_{t+1}（或前后几帧画面），输出导致这一变化的动作 a_t。力学里的逆动力学是由期望运动反算关节力矩，机器人学习里的 IDM 则多用神经网络从数据中学出。它的主要用途是给没有动作标签的视频补标签：OpenAI 2022 年的 VPT 先用约 2000 小时带键鼠记录的 Minecraft 数据训练 IDM，再给约 7 万小时网络视频打上伪动作标签，用来预训练游戏智能体。IDM 能同时看到过去和未来的画面，比只看当前画面预测动作容易学得多。UniPi 等「先生成视频再出动作」的方法，也靠 IDM 把生成的画面翻译成机器人动作。

例子输入两帧：第一帧夹爪张开停在杯子上方，第二帧夹爪已闭合、杯子被提起几厘米；IDM 输出「闭合夹爪并向上移动」对应的动作向量。

也叫

逆向动力学模型、Inverse Model

相关

正向动力学模型、潜在动作模型、伪动作标签、无动作标签视频、VPT（视频预训练）、UniPi

来源

Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos (arXiv 2206.11795)
Learning Universal Policies via Text-Guided Video Generation (UniPi, arXiv 2302.00111)