DreamWaQ

DreamWaQ: Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning进阶

KAIST 2023 年提出的四足盲走强化学习方法，只凭本体感知「想象」脚下地形。

DreamWaQ 是韩国科学技术院（KAIST）Hyun Myung 团队提出的四足机器人运动控制方法，发表于 ICRA 2023。很多复杂地形行走方案依赖相机或激光雷达，但这些传感器在恶劣天气和光照下可能失灵。DreamWaQ 只用本体感知（关节角度、角速度、机身姿态等身体自身信号）做盲走：它训练一个上下文辅助估计网络（CENet），根据最近几步观测估计机身速度，并用变分自编码器推出一个代表地形情况的隐变量，相当于「隐式想象」地形；策略再结合这些估计输出关节动作。训练在 Isaac Gym 中用 4096 个域随机化并行环境完成，采用非对称演员-评论家（评论家可看仿真里的特权信息，策略只看真机能拿到的观测），然后零样本迁移到真机。