NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes
基本信息
- 标题：NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes
- 作者：Muhammad Zubair Irshad, Sergey Zakharov, Katherine Liu, Vitor Guizilini, Thomas Kollar, Adrien Gaidon, Zsolt Kira, Rares Ambrus
- 提交日期：2023 年 8 月 24 日
- 发表：已被 International Conference on Computer Vision (ICCV) 2023 接收
- arXiv 编号：arXiv:2308.12967 [cs.CV]
- 项目主页：https://zubair-irshad.github.io/projects/neo360.html
摘要
近期的隐式神经表示在新视角合成任务上取得了优异成果。然而，现有方法通常需要从大量视角进行昂贵的逐场景优化，这限制了它们在真实世界无界（unbounded）城市环境中的应用——在这类场景中，感兴趣的目标或背景往往只能从极少数视角被观测到。
为应对这一挑战，作者提出了 NeO 360（Neural fields for sparse view synthesis of outdoor scenes），一种可从单张或少量带位姿的 RGB 图像重建 360° 场景的可泛化方法。其核心思想在于：捕捉复杂真实户外 3D 场景的分布，并采用一种混合的图像条件三平面表示（hybrid image-conditional triplanar representation），可从任意世界坐标点进行查询。该表示融合了基于体素（voxel-based）和鸟瞰图（BEV）两种表示的优势，比二者都更高效且更具表现力。
NeO 360 的表示方法使其能够从大量无界 3D 场景中学习，同时在推理阶段仅凭单张图像即可泛化到新视角和新场景。作者在提出的具有挑战性的 360° 无界数据集 NeRDS 360 上进行了验证，结果显示 NeO 360 在新视角合成任务上优于当前最先进的可泛化方法，同时还具备编辑与合成（editing and composition）能力。
主题分类
- 主分类：Computer Vision and Pattern Recognition (cs.CV)
- 其他分类：Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
链接
- PDF：https://arxiv.org/pdf/2308.12967
- DOI：https://doi.org/10.48550/arXiv.2308.12967