复合误差

模仿策略每步的小偏差不断叠加，把机器人带进没见过的状态而失败。

复合误差是行为克隆（用监督学习直接模仿专家动作）的核心问题。策略每一步都有一点误差，一旦偏离专家轨迹，就会进入训练数据里没出现过的状态，在那里更容易犯错，偏差越滚越大。Ross 和 Bagnell 2010 年的分析指出：每步出错率为 ε、任务长 T 步时，纯监督模仿比专家多出的代价最坏可达 T²ε 量级，随任务长度二次增长。其根源是协变量偏移。常见缓解办法有：DAgger 让专家在策略自己走到的状态上补标注；专门采集纠偏数据；ACT 用动作分块一次预测一段动作，减少需要决策的步数。

例子ACT 论文指出，在高精度的双臂精细操作中，模仿策略的误差会随时间累积，于是改为一次预测一整段动作序列，只用 10 分钟人类演示就在多个任务上达到 80%–90% 成功率。

也叫

误差累积、累积误差、误差复合、Error Compounding

相关

分布偏移（协变量偏移）、DAgger（数据集聚合）、行为克隆、动作分块、纠偏数据、曝光偏差（自回归误差累积）

来源

Efficient Reductions for Imitation Learning (Ross & Bagnell, AISTATS 2010)
A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (AISTATS 2011)
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT, arXiv 2304.13705)