HOI4D 数据集

HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction进阶

清华等发布的第一人称 4D 手物交互数据集，含 240 万帧 RGB-D。

HOI4D 由清华大学、北京大学和上海期智研究院合作发布，发表在 CVPR 2022。采集者头戴装有 Kinect v2 和 RealSense D455 两台 RGB-D 相机的头盔，从第一人称视角记录自己操作物体的过程，共 4000 段序列、240 万帧，涉及 16 类共 800 个物体实例（7 类刚体、9 类带活动部件的铰接物体，如笔记本电脑、柜子、剪刀），场景覆盖 610 个室内房间。逐帧标注包括全景分割、运动分割、3D 手部姿态、类别级物体位姿（只知道类别、没见过具体实例时估计位姿）和动作标签，还提供物体网格和场景点云。它的用处是让模型从人类视角学习「手怎么和一类物体打交道」，可用于手物交互理解、位姿跟踪，也可作为机器人从人类数据学操作的素材。