DWL（去噪世界模型学习）

只靠本体感知就让人形机器人走雪地、上下楼梯的端到端强化学习行走框架。

星动纪元（RobotEra）与清华大学、上海期智研究院的陈建宇团队 2024 年提出，获 RSS 2024 最佳论文提名。人形机器人从仿真迁到真机，会遇到环境扰动、动力学建模不准、传感器噪声，以及线速度、接触力这类根本测不到的量。DWL 把这些都当作加在真实状态上的噪声：仿真训练时给观测加噪、遮掉测不到的量，用 GRU 编码器从一段历史观测中提取隐状态，再解码还原出包含摩擦系数、外力、地形高度等特权信息的完整状态，相当于一个「去噪」的世界模型；策略基于隐状态用 PPO 训练，评论家可以直接看完整状态（非对称演员-评论家）。策略不用相机和激光雷达，零样本迁移到 XBot-S（1.2 米）和 XBot-L（1.65 米）上，同一套参数走过雪地、坡道、楼梯和崎岖地面。

例子室内测试中，DWL 在 10 厘米高台阶上楼、下楼、坡道和不平地面上的成功率都是 100%，去掉去噪损失的 PPO 上楼只有 20%。

也叫

去噪世界模型学习、Denoising World Model Learning

相关

非对称演员-评论家、特权信息、仿真到现实迁移、域随机化、盲走、星动纪元

来源

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning (arXiv:2408.14472)

信息截至

2024-08