CDM 相机深度模型

字节 Seed 提出的深度修复模型，把深度相机的噪声深度修成接近仿真的精确深度。

CDM 出自 2025 年 9 月字节跳动 Seed 联合上海交大、浙大、清华发布的论文「Manipulation as in Simulation」。普通深度相机在反光、透明、细长物体和边缘处噪声大、缺失多，用深度或点云训练的策略很难从仿真直接迁到真机。CDM 是接在相机后面的软件插件：输入 RGB 图和原始深度，输出去噪后的度量深度（真实米制尺度）。训练数据来自作者的「神经数据引擎」，通过模拟各款相机的深度噪声模式批量生成成对数据；按相机型号提供模型，覆盖 RealSense 多个型号、Azure Kinect 和 ZED 2i，模型和 ByteCameraDepth 数据集均已开源。论文显示，只用仿真深度训练的操作策略接上 CDM 后，不加噪声、不微调就能在真机上处理铰接、反光和细长物体。

例子在仿真里只用干净深度图训练「把碗放进微波炉」的策略，部署时先把 RealSense 的原始深度送进对应型号的 CDM，再把输出的深度喂给策略，不用真机数据微调。

也叫

Camera Depth Model、Manipulation as in Simulation

相关

深度补全、仿真到现实迁移、虚实差距、深度相机、透明/反光物体感知、蚂蚁灵波 LingBot-Depth

来源

Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots (arXiv 2509.02530)
Manipulation as in Simulation 项目页

信息截至

2025-09