RGB相机
RGB Camera入门必知输出彩色图像的普通相机,每个像素记录红、绿、蓝三个亮度值。
RGB 相机就是最常见的彩色相机:图像传感器前覆一层颜色滤镜阵列,最常用的是柯达工程师 Bryce Bayer 1976 年取得专利的拜耳滤镜,一半像素感绿、红和蓝各占四分之一,再用去马赛克算法插值出每个像素完整的 R、G、B 值。它便宜、分辨率高、信息丰富,是多数模仿学习策略和 VLA 的主要输入。局限是单个 RGB 相机(单目)只拍到三维世界的二维投影,不知道物体离多远;要拿到深度得配深度相机、双目相机,或用单目深度估计模型去推。装机时还要考虑视场角、帧率,以及是全局快门(整幅画面同时曝光)还是卷帘快门(逐行曝光,快速运动时画面会歪斜)。
例子初代 ALOHA 双臂平台装了 4 个普通网络摄像头:两个装在手腕上,一个在正前方、一个在顶部俯拍。ACT 策略只用这些彩色图像加上关节角,不用深度,靠约 10 分钟的示范就学会了打开半透明调料杯、插电池等动作,成功率 80–90%。
- 也叫
- 彩色相机、单目相机、Monocular Camera、彩色摄像头
- 相关
- 深度相机、双目相机、腕部相机、单目深度估计、相机内参、全局快门 / 卷帘快门
- 来源
- Wikipedia: Bayer filter
ALOHA / ACT project page (Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware)
arXiv 2304.13705: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware