感觉运动技能
Sensorimotor Skills进阶把感官信息实时转成身体动作的能力,比如抓、走、接、拧。
感觉运动技能一词源自认知科学和神经科学,指把视觉、触觉、本体感觉等感官输入和肌肉动作紧密耦合起来完成的技能,如伸手抓物、走路保持平衡、接住抛来的球。在机器人领域,它泛指需要感知与控制实时闭环配合的底层能力。莫拉维克悖论指出,人觉得毫不费力的感觉运动技能对机器反而最难,因为它们是长期进化打磨出来的。2015 年 Levine 等人的端到端视觉运动策略工作用卷积网络直接把图像映射成电机力矩,是用深度学习学这类技能的代表作;今天的视觉运动策略和 VLA,本质上也是在学感觉运动技能。
例子拧瓶盖:机器人要一边看瓶口位置,一边根据手上的受力微调角度和力度,Levine 等人的端到端视觉运动策略就把它当作测试任务之一。
- 也叫
- 感知运动技能、感觉-运动技能
- 相关
- 莫拉维克悖论、感知-行动闭环、视觉运动策略、具身认知、端到端视觉运动策略(引导策略搜索)
- 来源
- Moravec's paradox - Wikipedia
End-to-End Training of Deep Visuomotor Policies (arXiv 1504.00702)
Sensory-motor coupling - Wikipedia