Lumina-T2X：通过基于流的大型扩散 Transformer 将文本转化为任意模态、分辨率和时长

基本信息

• 标题：Lumina-T2X: Transforming Text into Any Modality, Resolution, and Duration via Flow-based Large Diffusion Transformers
• 作者：Peng Gao, Le Zhuo, Dongyang Liu, Ruoyi Du, Xu Luo, Longtian Qiu, Yuhang Zhang, Chen Lin, Rongjie Huang, Shijie Geng, Renrui Zhang, Junlin Xi, Wenqi Shao, Zhengkai Jiang, Tianshuo Yang, Weicai Ye, He Tong, Jingwen He, Yu Qiao, Hongsheng Li
• 提交日期：2024年5月9日（v1），最后修订于2024年6月13日（v3）
• 主题分类：Computer Vision and Pattern Recognition (cs.CV)
• 备注：Technical Report；代码发布于 https://github.com/Alpha-VLLM/Lumina-T2X
• arXiv ID：arXiv:2405.05945

摘要

Sora 揭示了扩展 Diffusion Transformer 在生成任意分辨率、宽高比和时长的逼真图像与视频方面的潜力，但仍缺乏充分的实现细节。在本技术报告中，作者提出了 Lumina-T2X 系列——一系列基于流的大型扩散 Transformer（Flag-DiT），配备零初始化注意力机制，作为一个统一框架，旨在将噪声在文本指令条件下转化为图像、视频、多视角 3D 物体和音频片段。

通过对潜在时空空间进行 token 化，并引入诸如 [nextline] 和 [nextframe] 等可学习占位符，Lumina-T2X 无缝统一了不同模态在多种时空分辨率下的表示。这种统一方法使得不同模态可在单一框架内训练，并支持推理时以任意分辨率、宽高比和长度灵活生成多模态数据。

RoPE、RMSNorm 和流匹配（flow matching）等先进技术增强了 Flag-DiT 的稳定性、灵活性和可扩展性，使 Lumina-T2X 的模型规模可扩展至 70 亿参数，上下文窗口扩展至 128K token。这对于使用 Lumina-T2I 模型创建超高清图像以及使用 Lumina-T2V 模型生成长 720p 视频尤为有利。值得注意的是，由 50 亿参数 Flag-DiT 驱动的 Lumina-T2I，其训练计算成本仅为 6 亿参数朴素 DiT 的 35%。

作者进一步的分析凸显了 Lumina-T2X 在分辨率外推、高分辨率编辑、生成一致 3D 视图以及合成无缝过渡视频方面的初步能力。作者期望 Lumina-T2X 的开源能进一步促进生成式 AI 社区的创造力、透明度和多样性。

主题/分类

• 计算机视觉与模式识别 (cs.CV)