事后重标注

数据采完后，按轨迹实际做成了什么，重新给它贴目标或指令标签。

事后重标注的思路是：一条轨迹没完成原定目标，但它总归到达了某个状态，那就把这个实际结果当成目标重新标一遍，失败样本就变成了「完成了另一个目标」的成功样本。这一做法因 OpenAI 2017 年的后见之明经验回放（HER）而流行，用来解决稀疏奖励（只有成功才给奖励）下几乎学不到东西的问题，在推、滑、抓放等机械臂任务上验证过。后来被推广到模仿学习和语言条件策略：先大量采集没有任务标签的操作数据，事后再根据画面给它配上图像目标或语言指令。谷歌的 DIAL 就用 CLIP 这类视觉语言模型给 8 万条演示自动补语言指令，其中 96.5% 原本没有人工标注。它的前提是策略以目标或指令为条件，否则重标注无从谈起。

例子机械臂本想把方块推到 A 点却推到了 B 点；重标注后，这条轨迹被存成「目标 = B 点」的成功示范，再拿去训练目标条件策略。

也叫

后见之明重标注、事后目标重标注、Hindsight Goal Relabeling

相关

后见之明经验回放、目标条件强化学习、稀疏奖励、语言标注、自动标注、指令增强

来源

Hindsight Experience Replay (arXiv)
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models (DIAL, arXiv)