跨本体图像替换

Cross-Painting (Robot Embodiment Visual Swap)进阶

把画面里的新机器人抠掉、换成训练时那台机器人，让视觉策略直接迁移。

Cross-painting 由 UC Berkeley Ken Goldberg 团队与 Google DeepMind 研究者在 Mirage 方法中提出（RSS 2024）。视觉策略只见过源机器人，换一台外形不同的目标机器人后画面变了，策略就容易失效。做法是执行时实时用分割掩码遮掉画面里的目标机器人并补全背景，再按 URDF（机器人连杆和关节的模型文件）算出让源机器人末端到达同一位姿的关节角并渲染上去，让策略「看到」的仍是熟悉的机器人；控制差异另用正向动力学模型（预测执行动作后末端到哪）补偿。Mirage 在 Franka、UR5 和不同夹爪间实现了零样本迁移。类似的抠图加渲染流程也被用来把人类视频里的手换成机器人。