MegaPose

MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare进阶

只要物体的 CAD 模型、不用重新训练，就能估计新物体 6D 位姿的方法。

MegaPose 由 Inria、NVIDIA 等机构的 Yann Labbé、Dieter Fox、Josef Sivic 等人提出，发表于 CoRL 2022。6D 位姿估计要算出物体在相机坐标系下的三维位置和朝向，以往方法多要为每个物体单独训练，换个新零件就得重来。MegaPose 采用「渲染-比较」思路：给定图中物体所在区域和它的 CAD 模型，先粗估一个位姿，用模型渲染出该位姿下的合成图，与真实图像对比，由网络预测如何修正位姿，反复迭代。它在包含数千种物体的大规模逼真合成数据上训练，论文指出物体多样性是泛化的关键，因此能不重训练直接用于数百种新物体，在 YCB-Video、BOP 等基准上结果有竞争力。后来英伟达的 FoundationPose 也用了类似的渲染比较精修，并与它做了对比。