人体网格恢复
Human Mesh RecoveryHMR进阶从图像或视频估计人体完整 3D 网格(姿态加体型)的任务。
人体网格恢复指从 RGB 图像或视频中估计人的完整 3D 身体表面,而不只是十几个关节点。通常做法是回归 SMPL 这类参数化人体模型的参数:姿态参数描述各关节旋转,形状参数描述高矮胖瘦,代入模型就得到一个人体网格。这个名字来自 Kanazawa、Black、Malik 等人 CVPR 2018 的论文 HMR,它直接从图像像素回归 SMPL 参数,并用对抗判别器约束结果像真实人体。后续 HMR 2.0 / 4D-Humans 换成 ViT 骨干并加入跨帧跟踪,GVHMR 等方法进一步恢复人在世界坐标系里的运动轨迹,手部对应的方法有 HaMeR。在具身智能里,它是从人类视频获取全身动作、再重定向给人形机器人的关键一环。
例子4D-Humans 能从一段多人视频里逐帧重建每个人的 SMPL 网格并跨帧跟踪身份,结果可交给动作重定向工具转成人形机器人的关节轨迹。
- 也叫
- 人体网格重建、3D 人体姿态与形状估计、Human Mesh Reconstruction
- 相关
- SMPL 人体模型、GVHMR、HaMeR、人体姿态估计、无标记动捕、动作重定向
- 来源
- arXiv 1712.06584: End-to-end Recovery of Human Shape and Pose(HMR, CVPR 2018)
4D-Humans / HMR 2.0 项目主页(ICCV 2023)