具身智能新手名词表English灾难性遗忘
Catastrophic Forgetting常用神经网络学了新任务后，旧任务上的能力大幅下降甚至丢失的现象。
灾难性遗忘又叫灾难性干扰，1989 年 McCloskey 和 Cohen 让反向传播网络先后学两组加法题时首次系统报告：学新内容会改动表示旧知识的权重，旧任务成绩骤降。缓解方法有回放旧数据、弹性权重巩固（EWC，保护对旧任务重要的权重）、冻结部分网络、参数高效微调等。具身智能里，把预训练 VLM 改造成 VLA、只用机器人数据微调，常会丢掉原有的语言理解和常识。所以 π0.5 等模型混合网页图文数据和机器人数据协同训练，Physical Intelligence 还提出知识隔离，阻断动作专家的梯度流回 VLM。
例子Physical Intelligence 在知识隔离论文中指出，直接给 VLM 接上连续动作专家一起训练，会让模型明显损失预训练知识，削弱理解语言指令的能力；他们用梯度阻断加上图文问答数据协同训练来缓解。
- 也叫
- 遗忘、灾难性干扰、Catastrophic Interference
- 相关
- 持续学习、冻结骨干网络、协同训练、知识隔离、梯度阻断、参数高效微调
- 来源
- Wikipedia: Catastrophic interference
Knowledge Insulating Vision-Language-Action Models (arXiv 2505.23705)
π0.5: a Vision-Language-Action Model with Open-World Generalization (arXiv 2504.16054) - 信息截至
- 2025-05