腕部相机
Wrist Camera入门必知装在机械臂手腕或夹爪上、跟着手一起移动的相机,专看手边近景。
腕部相机固定在机械臂末端靠近夹爪的位置,属于视觉伺服里说的「眼在手上」配置:相机随手移动,看的是手与目标的相对位置;与之相对的是固定在环境里的第三视角相机,即「眼在手外」。它的好处是抓取、插入的最后几厘米看得最清楚,不容易被机械臂自己挡住,物体在画面中的位置也和夹爪直接对应,所以模仿学习和 VLA 的数据采集大多会配一个,与一两个第三视角相机一起输入策略。缺点是视角随动作剧烈变化、看不到全局,距离太近时深度相机可能测不准;要用它的图像做几何计算,还得先做手眼标定。
例子DROID 数据集在每台 Franka 机械臂上装了 3 个相机:2 个位置可调的外部 ZED 2 双目相机,加 1 个装在手腕上的 ZED Mini。
- 也叫
- 手腕相机、手眼相机、Wrist-mounted Camera、眼在手上相机
- 相关
- 眼在手上、第三视角相机、头部相机、手眼标定、多视角、遮挡
- 来源
- Wikipedia: Visual servoing (eye-in-hand vs. eye-to-hand)
DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset (project page)
ALOHA project page