Holodeck 语言生成三维环境

输入一句话描述，用 GPT-4 和 Objaverse 资产自动生成可交互的三维室内场景。

Holodeck 是宾夕法尼亚大学、斯坦福、华盛顿大学和艾伦人工智能研究所（Ai2）合作的工作，发表于 CVPR 2024。具身智能体需要大量多样的训练场景，但手工搭三维房间成本很高。Holodeck 让用户输入「养猫研究员的公寓」这类描述，由 GPT-4 提供常识：房间布局、墙地材质、门窗、该放哪些物体，并写出物体之间的空间关系约束（如某把椅子在桌子旁边），再由优化算法求解摆放位置；物体从 Objaverse 三维资产库中检索。生成的场景基于 AI2-THOR 加载使用。论文实验中，在 Holodeck 场景上训练的物体目标导航智能体，面对音乐室、托儿所等新场景类型时零样本泛化更好。

例子输入「apartment for a researcher with a cat」，Holodeck 自动规划房间、选墙地材质、从 Objaverse 挑家具并按约束摆好，生成的场景可直接在 AI2-THOR 中加载。

也叫

Holodeck

相关

AI2-THOR、ProcTHOR、Objaverse 3D 资产库、生成式仿真、程序化生成、物体目标导航

来源

Holodeck: Language Guided Generation of 3D Embodied AI Environments (arXiv 2312.09067)
allenai/Holodeck (GitHub)
Holodeck project page

信息截至

2024-06