迁移学习

把在一个任务或领域学到的知识，拿来帮助学习另一个相关任务。

迁移学习指把源任务（通常数据多）上学到的模型或表征用到目标任务（通常数据少）上，最常见的做法是先预训练、再微调。相关研究可追溯到 1976 年 Bozinovski 等人的神经网络工作；Yosinski 等人 2014 年发现，网络低层学到的是较通用的特征，越往高层越专门化，而且用迁移来的权重初始化，即使再微调也能提升泛化。迁移并不总有好处：源和目标差得太远时反而拖累性能，称为负迁移。具身智能几乎处处在做迁移：把互联网图文训练的 VLM 改造成 VLA、仿真到现实迁移、跨本体迁移、从人类视频迁移到机器人；领域自适应是它的一个子方向。

例子谷歌 DeepMind 的 RT-2 把在网络规模图文数据上训练的视觉语言模型，与机器人轨迹数据一起微调，动作写成文本 token；模型能执行训练数据里没有的指令，如「捡起灭绝的动物」，在泛化测试上约为 RT-1 等基线的 2 倍。

也叫

知识迁移

相关

预训练、微调、领域自适应、仿真到现实迁移、正迁移 / 负迁移、RT-2

来源

Transfer learning (Wikipedia)
How transferable are features in deep neural networks? (Yosinski et al., arXiv 1411.1792)
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control (project page)