3D 扩散策略

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D RepresentationsDP3常用

把稀疏点云作为输入的扩散策略，少量演示就能学会操作，发表于 RSS 2024。

3D 扩散策略（DP3）由上海期智研究院、清华大学交叉信息研究院许华哲组联合上海交大、上海 AI 实验室的研究者（第一作者 Yanjie Ze）于 2024 年 3 月提出，发表于 RSS 2024。它在扩散策略的基础上，把输入从 2D 图像换成深度相机得到的稀疏点云（一组带三维坐标的点），用一个轻量的点云编码器压成紧凑的 3D 特征，再以它为条件去噪生成动作。3D 表示直接包含物体的位置和几何，对视角、外观变化更不敏感，所以需要的演示更少。论文在 72 个仿真任务上每个任务只用 10 条演示，相对基线提升 24.2%；4 个真机任务每个 40 条演示，成功率 85%，而且很少出现违反安全要求的动作。后续的 iDP3 把它扩展到人形机器人。