点图
Pointmap进阶和图像同尺寸的数组,每个像素存的是一个 3D 坐标而不是颜色。
点图把图像每个像素对应的 3D 点坐标 (x, y, z) 排成 H×W×3 的数组,像素和 3D 点一一对应。2023 年 Naver Labs Europe 等提出的 DUSt3R 把它作为核心输出:输入两张图,网络直接回归两张点图,并统一表达在第一张图的相机坐标系里,因此不需要事先知道相机内参(焦距等)和相机位姿。和深度图相比,点图同时隐含了深度、相机参数和两图之间的像素对应,可以从中反推出焦距、相对位姿和匹配点。之后的 MASt3R、VGGT、π³ 等前馈式三维重建模型都沿用或兼容这种表示,机器人可以借此从普通 RGB 图像快速得到场景的 3D 结构。
例子两张手机拍的桌面照片送入 DUSt3R,得到两张点图,合起来就是桌面场景的稠密点云。
- 也叫
- Point Map、逐像素 3D 点图
- 相关
- 前馈式三维重建、DUSt3R、VGGT、深度图、点云、相机内参
- 来源
- DUSt3R: Geometric 3D Vision Made Easy (arXiv 2312.14132)