ObjectFolder 多感官物体数据集

同时提供物体外观、敲击声音和触觉读数的多感官物体数据集

ObjectFolder 是斯坦福大学吴佳俊、李飞飞等人发布的多感官物体数据集系列。1.0 版（CoRL 2021）含 100 个虚拟物体，用隐式神经表示（用小网络存下某种感官数据、按查询输出）统一编码视觉、声音和触觉；2.0 版（CVPR 2022）扩到 1,000 个物体并提升渲染速度和质量；2023 年的 ObjectFolder Real 采集了 100 个真实家居物体的网格、视频、敲击声和触觉读数，并配 10 个任务的评测基准。它补上了物体数据集缺声音和触觉的短板，可用于跨感官检索、接触定位、形状重建和虚实迁移研究。

例子给出一只杯子的渲染图，检索它被敲击时的声音或被视触觉传感器按压时的触觉图像（跨感官检索）。

也叫

ObjectFolder、ObjectFolder 2.0、ObjectFolder Real、ObjectFolder Benchmark

相关

多模态感知、触觉数据、视触觉融合、触觉仿真、YCB 物体集、仿真到现实迁移

来源

ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations (arXiv 2109.07991)
ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer (arXiv 2204.02389)
The ObjectFolder Benchmark: Multisensory Learning with Neural and Real Objects (arXiv 2306.00956)

信息截至

2023-06