次优演示

带多余动作、犹豫、失误，或质量参差不齐的人类示范数据。

次优演示指不够好的示范：动作慢、有停顿和来回试探、中途失误再补救，或多个操作员水平不一、做法各异。真实采集的数据几乎都带这些问题。行为克隆（直接模仿示范动作）会把好坏动作一起学进去，数据越混杂，学出的策略越犹豫、越不稳定。常见应对办法有：采集后做数据筛选和质检；按奖励或优势（某个动作比平均水平好多少）给样本加权，如优势加权回归；用离线强化学习从混合质量数据里挑出更好的行为；或把质量信息作为条件输入，推理时只要「好」的那部分行为，如 RECAP 的优势条件化。

例子robomimic 的 Multi-Human 数据集由 6 名熟练度不同的操作员（「较差」「一般」「较好」各 2 人）各录 50 条成功轨迹，共 300 条，专门用来研究混合质量数据对模仿学习的影响。

也叫

噪声演示、非最优演示、混合质量演示、Imperfect Demonstrations、Mixed-quality Demonstrations

相关

行为克隆、数据筛选、数据质检、优势加权回归、离线强化学习、RECAP

来源

robomimic v0.1 Datasets (PH / MH / MG)
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation (arXiv 2108.03298)