HumanML3D 数据集

给 1.4 万段 3D 人体动作配上 4.5 万句文字描述的文本-动作数据集。

HumanML3D 出自 Guo 等人 CVPR 2022 论文 Generating Diverse and Natural 3D Human Motions From Text。作者从 AMASS 和 HumanAct12 两个人体动捕数据集里取出 14616 段动作，每段请人写 3–4 句英文描述，共 44970 句、约 28.59 小时，内容从日常动作到运动、舞蹈都有；动作统一为 20 帧每秒、22 个关节的骨架，并通过左右镜像把数据量翻倍。它是文本生成人体动作（输入一句话、输出一段 3D 动作）最常用的训练和评测基准，MDM 等动作扩散模型都在上面报告结果。对人形机器人来说，先用文本生成人体动作、再重定向到机器人上，是让机器人按指令做动作的一条路线。

例子输入「a person walks forward and then sits down」，在 HumanML3D 上训练的模型生成一段先走后坐的 3D 骨架动作，再重定向给人形机器人跟踪执行。

也叫

HumanML3D

相关

文本驱动动作生成、AMASS 人体动捕数据集、MDM（人体动作扩散模型）、动作重定向、SMPL 人体模型、运动跟踪

来源

HumanML3D GitHub