3D Diffuser Actor

把扩散策略和 3D 场景表征结合、生成机械臂末端轨迹的模仿学习策略。

3D Diffuser Actor 由卡内基梅隆大学 Katerina Fragkiadaki 组（柯宗纬、Nikolaos Gkanatsios）2024 年 2 月提出，发表于 CoRL 2024。此前两条路线各有长处：扩散策略能表达多种可行做法（动作多峰性）；3D 策略用深度把多视角图像融成 3D 特征，换相机视角时更稳。它把两者合一：把图像特征按深度抬升成 3D 点，用带 3D 相对位置注意力的去噪 Transformer，结合语言指令和本体状态，逐步给加了噪声的末端位姿轨迹去噪。发布时在 RLBench 多视角设定上比此前最好方法的成功率绝对提高 18.1 个百分点，单视角提高 13.1 个百分点，在 CALVIN 上相对提升 9%；真机上用 Franka 机械臂、每个任务十几条示教学会 12 个任务。

例子在 RLBench 的「打开抽屉」任务里，它从多个 RGB-D 相机建出场景的 3D 特征点，从随机噪声出发反复去噪，得到机械臂下一个关键位姿（把手前方的位置和夹爪朝向）。

也叫

3D扩散执行器

相关

扩散策略、3D 扩散策略、PerAct、RLBench、CALVIN、关键帧动作预测

来源

3D Diffuser Actor: Policy Diffusion with 3D Scene Representations (arXiv 2402.10885)
3D Diffuser Actor 项目页

信息截至

2024-07