MagicVideo-V2：多阶段高美学视频生成

作者：Weimin Wang, Jiawei Liu, Zhijie Lin, Jiangqiao Yan, Shuo Chen, Chetwin Low, Tuyen Hoang, Jie Wu, Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng

提交日期：2024 年 1 月 9 日（v1）

arXiv 编号：arXiv:2401.04468v1 [cs.CV]

摘要

随着从文本描述生成高保真视频的需求不断增长，这一领域的研究得到了显著推动。本文提出 MagicVideo-V2，将文本到图像模型（text-to-image model）、视频运动生成器（video motion generator）、参考图像嵌入模块（reference image embedding module）与帧插值模块（frame interpolation module）整合为一个端到端的视频生成流水线。得益于这些架构设计，MagicVideo-V2 能够生成具有高美学质量、高分辨率、出色保真度与流畅度的视频。大规模用户评测显示，其性能优于 Runway、Pika 1.0、Morph、Moon Valley 以及 Stable Video Diffusion 等主流文本到视频（Text-to-Video）系统。

主题分类

• 主分类：计算机视觉与模式识别（cs.CV）
• 交叉分类：人工智能（cs.AI）

链接

• 论文页面：https://arxiv.org/abs/2401.04468
• PDF：https://arxiv.org/pdf/2401.04468
• DOI：https://doi.org/10.48550/arXiv.2401.04468