神经描述子场

MIT 2021 年提出的物体表示，看几次示范就能把操作迁移到同类新物体、新姿态。

神经描述子场由 MIT 的 Anthony Simeonov、Yilun Du、Pulkit Agrawal、Vincent Sitzmann 等提出，2021 年 12 月上 arXiv，发表于 ICRA 2022。它把物体表示成一个函数：输入物体附近任意 3D 点，输出一个描述子向量，同类物体上功能相当的位置（如不同杯子的把手）描述子相近。描述子取自一个用 3D 重建任务自监督训练的占据网络，不需要人工标关键点。网络满足 SE(3) 等变（物体怎么转、怎么移，描述子跟着同样变），所以正放、侧放、倒放都能处理。示范时记下夹爪附近一组点的描述子，测试时用优化找描述子最匹配的夹爪位姿。

例子只给 10 次「抓住杯沿、把杯子挂到架子上」的示范，Franka 机械臂就能对没见过的杯子在任意朝向下完成挂杯，论文报告总体成功率超过 85%。

相关

以物体为中心的表示、等变策略 / 等变网络、少样本、抓取放置、位姿、模仿学习

来源

Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation (arXiv 2112.05124)
NDF 项目页

信息截至

2022-05