干预数据
Human Intervention Data常用机器人自主执行快出错时,人接管操控,把这段人工纠正记录下来的数据。
干预数据指策略在真机上自主运行时,人看到要出错就用遥操作接管,把机器人引回正轨,接管期间的观测和人给的动作被记录下来。思路来自 DAgger 一类交互式模仿学习:纯行为克隆只见过专家的「标准路线」,一旦偏离就不知所措,误差越积越大;干预数据补上的正是「偏了之后怎么救回来」,且集中在策略最薄弱的状态。HG-DAgger(2018)让人在觉得不安全时接管;伯克利的 HIL-SERL 在真机强化学习中用人工干预引导探索;Physical Intelligence 的 π*0.6 也把专家干预和自主经验一起用于训练。
例子HIL-SERL 训练初期,人频繁接管机器人,示范怎样从各种状态完成任务;策略成功率上去后,再逐步减少干预。
- 也叫
- 人工纠偏数据、接管数据、人工干预数据、Intervention Data
- 相关
- 人在回路、人工门控 DAgger、纠偏数据、HIL-SERL、RECAP、干预率
- 来源
- HG-DAgger: Interactive Imitation Learning with Human Experts (arXiv 1810.02890)
HIL-SERL 项目主页
π*0.6: a VLA That Learns From Experience (arXiv 2511.14759)