失败数据

Failure Data常用

没完成任务的轨迹，可用来学纠错、训练奖励模型和价值函数。

失败数据指没能完成任务的轨迹，来源包括遥操作时的失手、策略自主执行时的失败，以及人工介入前出错的片段。纯模仿学习通常把它们丢掉，照着学会学坏；但它们记录了「什么情况下会出错」，用处不少：训练成功检测器、奖励模型和价值函数，在强化学习里充当负反馈，配合纠偏数据教模型从错误中恢复。π0 论文就指出，只用高质量数据训练学不会纠错，因为这类数据里很少出现失误。Physical Intelligence 的 RECAP 方法把失败轨迹、自主运行数据和人工纠正一起用来训练 π*0.6，论文报告在较难任务上吞吐量翻倍以上、失败率约减半。