DreamGaussian：用于高效 3D 内容创作的生成式高斯泼溅

作者

Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

摘要

近年来，3D 内容创作领域的进展主要依赖于基于分数蒸馏采样（score distillation sampling, SDS）的优化式 3D 生成方法。尽管这些方法已展现出可观的效果，但它们往往受限于单个样本优化速度缓慢的问题，制约了实际应用。本文提出 DreamGaussian，一种新颖的 3D 内容生成框架，能够同时实现高效率与高质量。其核心洞察在于设计了一个生成式 3D 高斯泼溅模型，并配套在 UV 空间中进行网格提取与纹理细化。与神经辐射场（Neural Radiance Fields）中使用的占用剪枝策略不同，该研究表明 3D 高斯的渐进致密化在 3D 生成任务中收敛速度显著更快。为了进一步提升纹理质量并促进下游应用，作者引入了一种高效算法，将 3D 高斯转换为带纹理的网格，并通过微调阶段细化细节。大量实验表明，该方法具有优越的效率和具有竞争力的生成质量。值得注意的是，DreamGaussian 仅需 2 分钟即可从单视角图像生成高质量的带纹理网格，相较于现有方法实现了约 10 倍的加速。

主题/分类

计算机视觉与模式识别（Computer Vision and Pattern Recognition, cs.CV）

其他信息

• 提交历史：2023 年 9 月 28 日提交初版（v1），2024 年 3 月 29 日最后修订（v2）
• 论文编号：arXiv:2309.16653
• 项目主页：https://dreamgaussian.github.io/