单目深度估计
Monocular Depth EstimationMDE常用只用一张普通彩色图像,预测每个像素离相机有多远。
单目深度估计只凭一台普通 RGB 相机拍的单张图像,预测每个像素的深度,输出一张深度图。它天生有歧义:同一张照片可能是近处的小物体,也可能是远处的大物体,尺度最难定,模型只能靠从数据中学到的物体大小、透视、遮挡等线索。纽约大学 Eigen 等人 2014 年最早用深度网络由粗到细预测深度;Depth Anything V2(NeurIPS 2024)用合成数据加大量伪标注真实图像训练。输出分相对深度(只知远近顺序)和度量深度(以米为单位)。对机器人,它能在没有深度相机时补上 3D 信息,也常用来从互联网视频中恢复场景几何。
例子机械臂只有一个腕部 RGB 相机,用 Depth Anything V2 的度量深度版本从每帧图像估出深度图,再用相机内参反投影成点云,供抓取规划使用。
- 也叫
- 单目深度、单图深度估计
- 相关
- 深度估计、度量深度 / 相对深度、Depth Anything、Depth Pro、深度图、立体匹配
- 来源
- Depth Map Prediction from a Single Image using a Multi-Scale Deep Network (arXiv:1406.2283)
Depth Anything V2 (arXiv:2406.09414)