Movie Gen: A Cast of Media Foundation Models
基本信息
- arXiv 编号：arXiv:2410.13720 [cs.CV]
- 提交日期：2024年10月17日（v1）；最后修订：2025年2月26日（v2）
- 作者：Adam Polyak、Amit Zohar、Andrew Brown、Andros Tjandra、Animesh Sinha 等 88 位作者
- DOI：https://doi.org/10.48550/arXiv.2410.13720
主题分类
- 主分类：Computer Vision and Pattern Recognition (cs.CV)
- 其他分类：Artificial Intelligence (cs.AI); Machine Learning (cs.LG); Image and Video Processing (eess.IV)
摘要
本文提出了 Movie Gen，一组媒体生成基础模型（foundation models）。该模型能够生成高质量的 1080p 高清视频，支持不同宽高比，并带有同步音频。此外，模型还展示了精确的基于指令的视频编辑（instruction-based video editing）以及基于用户图像生成个性化视频（personalized videos）的能力。
该模型在多个任务上刷新了当前最优（state-of-the-art）水平，包括：
- 文本到视频合成（text-to-video synthesis）
- 视频个性化（video personalization）
- 视频编辑（video editing）
- 视频到音频生成（video-to-audio generation）
- 文本到音频生成（text-to-audio generation）
其中最大的视频生成模型是一个 30B 参数的 Transformer，训练时最大上下文长度为 73K 视频 token，对应生成 16 秒、16 帧/秒 的视频。
论文还介绍了在架构、潜在空间（latent spaces）、训练目标与配方、数据筛选、评估协议、并行化技术以及推理优化等方面的多项技术创新与简化，使得研究者能够充分利用预训练数据、模型规模和训练算力的扩展（scaling）来训练大规模媒体生成模型。
作者希望该论文能帮助研究社区加速媒体生成模型的进展与创新。论文中所有视频可在 https://go.fb.me/MovieGenResearchVideos 获取。
相关链接
- PDF：https://arxiv.org/pdf/2410.13720
- HTML（实验性）：https://arxiv.org/html/2410.13720v2
- 视频示例：https://go.fb.me/MovieGenResearchVideos