具身智能新手名词表English

ProcTHOR

ProcTHOR (Large-Scale Embodied AI Using Procedural Generation)进阶

艾伦 AI 研究所推出的、程序化批量生成可交互 3D 房屋的具身仿真框架。

艾伦人工智能研究所(Ai2)2022 年 6 月发布,获 NeurIPS 2022 杰出论文奖,建在 AI2-THOR 仿真器之上。此前具身智能体只能在几十到几百个人工搭建的场景里训练,容易「背地图」、换个房子就不会。ProcTHOR 用程序化生成(按规则加随机采样自动造内容)批量造房屋:先定房间类型和数量,再生成户型、摆放家具和小物件,并随机材质与光照;物体库有 108 类、1633 个可交互物体。官方开放了 1 万套房屋的 ProcTHOR-10K。只用 RGB 图像、在这些房子里预训练的智能体,在物体导航、物体重排、机械臂指点导航等 6 个基准上取得当时最好成绩,部分任务不经微调(零样本)也表现很强。后来的 PoliFormer 等导航模型也在它生成的房屋中用强化学习训练。

例子指定「两间卧室加厨房和客厅」,ProcTHOR 自动生成户型、摆好床、沙发和冰箱并随机换地板材质与光照,得到一套可让智能体进去打开冰箱、寻找苹果的新房子。

也叫
ProcTHOR-10K
相关
AI2-THOR、程序化生成、物体目标导航、物体重排、PoliFormer、Holodeck 语言生成三维环境
来源
ProcTHOR: Large-Scale Embodied AI Using Procedural Generation (arXiv 2206.06994)
ProcTHOR 项目主页
NeurIPS 2022 Awards
信息截至
2024-06

在完整名词表里查看 →