Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Grant Schindler, Rachel Hornung, Vighnesh Birodkar, Jimmy Yan, Ming-Chang Chiu, Krishna Somandepalli, Hassan Akbari, Yair Alon, Yong Cheng, Josh Dillon, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, Mikhail Sirotenko, Kihyuk Sohn, Xuan Yang, Hartwig Adam, Ming-Hsuan Yang, Irfan Essa, Huisheng Wang, David A. Ross, Bryan Seybold, Lu Jiang
本文提出 VideoPoet，一种能够从多种条件信号中合成高质量视频（并匹配相应音频）的语言模型。VideoPoet 采用仅解码器（decoder-only）的 Transformer 架构，处理包括图像、视频、文本和音频在内的多模态输入。训练流程遵循大型语言模型（LLM）的两阶段方法：预训练和任务特定微调。在预训练阶段，VideoPoet 在自回归 Transformer 框架内融合了多模态生成目标。预训练后的 LLM 可作为基础模型，适用于多种视频生成任务。实验结果表明，该模型在零样本视频生成方面具有最先进的能力，特别突出了 VideoPoet 生成高保真运动的能力。