基于学习的控制
Learning-Based Control常用用数据和机器学习得到控制器或其中的模型,而不全靠人工推公式和调参。
泛指用数据学习来构造或改进控制器的方法,与依赖人工建模的基于模型的控制相对。典型做法有三类:学习动力学模型或其误差,再交给 MPC 等传统控制器;用强化学习或模仿学习直接训练神经网络策略,从观测输出关节目标或力矩;在线学习调整控制参数。Brunke 等人 2022 年在《Annual Review of Control, Robotics, and Autonomous Systems》的综述,把学习不确定动力学以安全提升性能的方法称为基于学习的控制,并与安全强化学习对照。它擅长处理难建模的接触、摩擦和电机特性,代价是需要大量数据或仿真,也难做严格的稳定性保证。如今四足和人形运控多用仿真训练的强化学习策略。
例子Hwangbo 等人 2019 年发表于 Science Robotics 的工作,先用真机数据训练模拟电机特性的执行器网络,再在仿真中用强化学习训练 ANYmal 四足的策略,迁移到真机后比此前方法跑得更快,还能从复杂姿态摔倒后自己爬起。
- 也叫
- 学习型控制、数据驱动控制、Data-driven Control
- 相关
- 基于模型的控制、强化学习运控、强化学习、模仿学习、安全强化学习、学习型全身控制
- 来源
- Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning (Brunke et al., arXiv 2108.06266)
Learning Agile and Dynamic Motor Skills for Legged Robots (Hwangbo et al., Science Robotics 2019, arXiv 1901.08652)