MDM(人体动作扩散模型)
MDM: Human Motion Diffusion ModelMDM进阶用扩散模型从文字或动作类别生成 3D 人体动作序列的代表性工作。
MDM(Human Motion Diffusion Model)是以色列特拉维夫大学 Guy Tevet、Amit Bermano 等人 2022 年 9 月发布的工作,发表于 ICLR 2023。它把图像生成里的扩散模型用到人体动作上:以 Transformer 为网络,从噪声逐步去噪出一段关节动作序列,并用无分类器引导按文字或动作类别控制生成。一个关键设计是每一步直接预测干净动作而不是噪声,这样就能加上关节位置、速度和脚部接触等几何损失,让动作更自然。它在 HumanML3D、KIT 等文生动作基准上取得当时最好结果,成为后续大量动作生成工作的基线。在具身智能里,这类模型生成的人体动作可经动作重定向后,交给人形机器人的运动跟踪控制器执行。
例子输入「一个人向前走几步然后坐下」,MDM 生成一段对应的 3D 人体骨架动作。
- 也叫
- Motion Diffusion Model、人体动作扩散模型
- 相关
- 扩散模型、人体动作生成模型(文本生成动作)、HumanML3D 数据集、无分类器引导、动作重定向、运动跟踪
- 来源
- arXiv 2209.14916: Human Motion Diffusion Model
MDM 项目主页 - 信息截至
- 2022-09