语义关键点

用物体上几个有含义的点（如杯把、壶嘴）来表示物体，方便规划操作

语义关键点是物体上带有明确含义的少数几个 3D 点，比如马克杯的把手中心、杯底中心，鞋子的鞋跟。和 6D 位姿相比，它不要求每个物体都有精确的 CAD 模板，同一类中形状差别很大的物体也能找到对应的点，因此适合类别级泛化。2019 年 MIT Tedrake 组的 kPAM 把它用于机器人操作：先检测语义 3D 关键点，再把任务写成关于这些点的几何约束（如「杯把挂到挂钩上」「杯底贴住桌面」），用优化求出机械臂的目标位姿，从而操作没见过的新物体。近年的 ReKep、OmniManip 等工作让视觉语言模型直接在图像上提出关键点和约束，所以也常被称为任务关键点。

例子kPAM 中，对形状各异、没见过的马克杯，只检测杯把、杯底等几个关键点，就能规划出把杯子挂到杯架上的动作。

也叫

任务关键点、语义 3D 关键点

相关

关键点检测、ReKep、OmniManip、6D位姿估计、类别级位姿估计、可供性

来源

arXiv 1903.06684: kPAM: KeyPoint Affordances for Category-Level Robotic Manipulation