具身智能新手名词表English

SAM-6D

SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation进阶

借助 SAM 分割,对没见过的物体零样本估计 6D 位姿的方法

SAM-6D 是 Jiehong Lin、贾奎等人(香港中文大学(深圳)、华南理工大学等)2023 年提出、发表于 CVPR 2024 的零样本 6D 物体位姿估计方法。6D 位姿指物体的 3D 位置加 3D 朝向,抓取和装配都离不开它;「零样本」指对训练时没见过的新物体,给出 CAD 模型即可估计,不用重新训练。方法分两步:先用 SAM 生成所有候选区域,按语义、外观、几何打分筛出目标物体;再把位姿估计看作模型点云与观测点云「部分对部分」的点匹配,粗到细两阶段求出位姿。输入为 RGB-D 图像、相机内参和 CAD 模型,论文报告在 BOP 基准 7 个核心数据集上超过当时已有方法。

例子给定一个零件的 CAD 模型,SAM-6D 在杂乱料框的 RGB-D 图像里找出该零件并给出 6D 位姿,交给机械臂抓取。

相关
6D位姿估计、分割一切模型、FoundationPose、MegaPose、BOP 位姿估计基准、点云配准
来源
arXiv 2311.15707: SAM-6D
JiehongLin/SAM-6D GitHub
信息截至
2024-06

在完整名词表里查看 →