生成式数据增强

用图像或视频生成模型改写已有机器人数据，多造出新场景的训练样本。

生成式数据增强指用文生图、视频生成等生成模型，在已有机器人演示上改换物体、背景、干扰物或光照，得到新的训练样本，动作标签沿用原数据。代表工作有谷歌 2023 年的 ROSIE（用文本引导的扩散模型在图像里修补出新物体和背景）和华盛顿大学等的 GenAug。它要解决的是真机数据贵、场景单一：一条数据只覆盖一张桌面，增强后同一段动作可以配上许多种外观，从而提升视觉泛化和对干扰物的鲁棒性。局限是它主要改外观，改不了物理过程和动作本身。Cosmos Transfer 这类视频世界模型也常用来做这种增强。

例子ROSIE 在谷歌已有的机器人数据上，用扩散模型把桌上的物体和背景修补成新样子，用这些图训练出的策略能处理原数据里没有的新物体和干扰物。

也叫

生成式增强、语义数据增强、Semantic Data Augmentation

相关

数据增强、合成数据、扩散模型、Cosmos Transfer、视觉泛化、跨本体图像替换

来源

ROSIE: Scaling Robot Learning with Semantically Imagined Experience (arXiv 2302.11550)
GenAug: Retargeting behaviors to unseen situations via Generative Augmentation (arXiv 2302.06671)