Andreas Blattmann, Tim Dockhorn, Sumith Kulal, Daniel Mendelevitch, Maciej Kilian, Dominik Lorenz, Yam Levi, Zion English, Vikram Voleti, Adam Letts, Varun Jampani, Robin Rombach
本文提出了 Stable Video Diffusion——一个用于高分辨率、最先进文本到视频和图像到视频生成的潜在视频扩散模型。近年来，为二维图像合成训练的潜在扩散模型通过插入时间层并在小型高质量视频数据集上进行微调，已转变为生成式视频模型。然而，文献中的训练方法差异很大，该领域尚未就整理视频数据的统一策略达成共识。
本文识别并评估了成功训练视频潜在扩散模型的三个不同阶段：
- 文本到图像预训练
- 视频预训练
- 高质量视频微调
此外，本文证明了精心整理的预训练数据集对于生成高质量视频的必要性，并提出了一种系统性的数据整理流程（包括字幕生成和过滤策略）来训练强大的基础模型。然后，我们探索了在高质量数据上微调基础模型的影响，并训练了一个与闭源视频生成相竞争的文本到视频模型。
我们还展示了基础模型为下游任务（如图像到视频生成和针对相机运动的 LoRA 模块的适应性）提供了强大的运动表示。最后，我们证明该模型提供了强大的多视角 3D 先验知识，并可以作为基础模型进行微调，得到一个能够以前馈方式联合生成物体多个视角的多视角扩散模型，其性能优于基于图像的方法，而计算成本仅为其一小部分。