新视角合成

根据已有几张照片，生成场景在没拍过的视角下的样子。

新视角合成指给定一个场景的若干张图像（通常带相机位姿），渲染出从新相机位置看过去的图像。传统方法依赖多视图立体重建出几何再贴图；2020 年的神经辐射场（NeRF）用神经网络表示场景并做体渲染，大幅提升了质量；2023 年的 3D 高斯泼溅用大量三维高斯显式表示场景，可实时渲染。近年也有视频生成模型直接生成新视角。在具身智能中，它用于把真实场景搬进仿真（现实到仿真）、给策略做视角数据增强。

例子用手机绕一个物体拍几十张照片训练 3D 高斯泼溅，再渲染出任意新角度的图像。

也叫

新视图合成、新视点合成

相关

神经辐射场、3D高斯泼溅、多视图立体、现实到仿真、高斯泼溅仿真、视频生成模型

来源

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (arXiv)