正向动力学模型

输入当前状态和动作，预测下一时刻状态会变成什么样的模型。

正向动力学模型学的是「做了这个动作，世界会变成什么样」：输入当前状态（或观测）s_t 和动作 a_t，输出下一时刻状态 s_{t+1}。思路和力学里的正动力学（由力矩算出加速度）一致，但机器人学习里通常不靠物理公式，而是用神经网络从交互数据中学出来。有了它，机器人能先在模型里试多种动作序列、挑结果最好的执行，这正是基于模型的强化学习和模型预测控制（MPC）的做法。2017 年 Nagabandi 等人就用学到的神经网络动力学模型配合 MPC，让仿真中的多足机器人跟踪任意轨迹。如今的世界模型本质上是在图像或隐空间里做的大型正向动力学模型；它常与逆动力学模型成对出现，潜在动作模型的解码器也属于这一类。

例子推方块任务：输入方块当前位置和「向右推 2 厘米」，模型预测推完后方块的新位置；MPC 用它比较几十种候选推法，选最接近目标的一种执行。

也叫

前向动力学模型、学习型动力学模型、Forward Model、Learned Dynamics Model

相关

逆动力学模型、世界模型、基于模型的强化学习、模型预测控制、正动力学、潜在动作模型

来源

Neural Network Dynamics for Model-Based Deep RL with Model-Free Fine-Tuning (arXiv 1708.02596)
Curiosity-driven Exploration by Self-supervised Prediction (arXiv 1705.05363)