正迁移 / 负迁移

引入其他任务或数据后，目标任务变好叫正迁移，变差叫负迁移。

迁移学习和多任务学习里的一对概念：把在源任务、源数据上学到的知识用到目标任务上，目标任务表现提升就是正迁移，反而下降就是负迁移。Wang 等人在 CVPR 2019 的论文中给负迁移下了形式化定义，指出源数据和目标任务相关性太低时容易发生。具身智能里，混合多种机器人、多种任务或互联网图文数据一起训练时，都要回答「加进来的数据是帮忙还是添乱」。常见的负迁移原因有：任务不相关、不同本体的动作空间和坐标系不一致、数据配比失衡、模型容量不够。应对手段包括调数据配比、给每种本体单独的输出头、冻结或隔离部分参数等。

例子Open X-Embodiment 实验中，用 22 种机器人数据训练的 RT-1-X 在数据少的机器人上比单独训练平均高 50%，是正迁移；但在数据充足的机器人上 RT-1-X 欠拟合，不如只用本机数据的 RT-1，参数大得多的 RT-2-X 才重新占优。

也叫

正向迁移、负向迁移、Positive Transfer、Negative Transfer

相关

迁移学习、多任务学习、跨本体、协同训练、数据配比、RT-X

来源

Characterizing and Avoiding Negative Transfer (CVPR 2019)
Open X-Embodiment: Robotic Learning Datasets and RT-X Models (project page)
Open X-Embodiment paper (arXiv HTML)