dex-retargeting

dex-retargeting (AnyTeleop hand retargeting library)进阶

把人手关键点姿态换算成各种机器人灵巧手关节角的开源工具库。

dex-retargeting 是从 AnyTeleop 项目（加州大学圣迭戈分校与英伟达，RSS 2023）拆出来的开源 Python 库，MIT 许可，可 pip 安装。人手和机器人手的手指数量、长度、关节都不一样，关节角不能直接照抄，需要重定向：输入 MediaPipe 或 MANO 手部模型给出的人手关键点，通过优化求机器人手的关节角，让指尖位置或指尖之间的向量尽量一致。库里有向量重定向（适合视频实时遥操作）、位置重定向（适合离线转换手物交互数据集）和 DexPilot 三种方式，配套模型库收录了 Allegro、Shadow、LEAP、Inspire 等手。很多灵巧手遥操作和人手采集项目用它把人手动作转成机器人动作。