作者: Jingxiang Sun, Bo Zhang, Ruizhi Shao, Lizhen Wang, Wen Liu, Zhenda Xie, Yebin Liu
提交/修订日期: 2023年10月25日提交，2023年10月26日修订 (v2)
摘要:
本文提出了DreamCraft3D，一种分层式3D内容生成方法，能够生成高保真且一致的3D物体。该方法利用一张2D参考图像来指导几何雕刻和纹理增强两个阶段。本工作的一个核心重点是解决现有方法遇到的一致性问题。为了雕刻出渲染一致的几何体，我们通过一个视角相关的扩散模型进行分数蒸馏采样。这个3D先验，连同几种训练策略，优先保证了几何一致性，但牺牲了纹理保真度。我们进一步提出了引导分数蒸馏来专门增强纹理。我们在场景的增强渲染图上训练一个个性化的扩散模型（Dreambooth），使其具备被优化场景的3D知识。从这个具有3D感知的扩散先验中进行分数蒸馏，为场景提供了视角一致的指导。值得注意的是，通过对扩散先验和3D场景表示进行交替优化，我们实现了相互促进的改进：优化后的3D场景有助于训练场景特定的扩散模型，而该模型又为3D优化提供了越来越一致的视角指导。因此，优化过程是引导式的，并带来了显著的纹理增强。通过在分层生成过程中使用定制的3D先验，DreamCraft3D能够生成具有照片级真实感渲染的一致3D物体，推动了3D内容生成的技术前沿。
主题/分类:
- 计算机视觉与模式识别 (cs.CV)
- 计算几何 (cs.CG)
项目与代码:
- 项目页面: https://mrtornado24.github.io/DreamCraft3D/
- 代码仓库: https://github.com/deepseek-ai/DreamCraft3D