DreamLLM: Synergistic Multimodal Comprehension and Creation

基本信息

• 标题：DreamLLM: Synergistic Multimodal Comprehension and Creation
• 作者：Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi
• arXiv 编号：2309.11499
• 提交日期：2023 年 9 月 20 日（v1）；最后修订：2024 年 3 月 15 日（v2）
• 发表会议：ICLR 2024（Spotlight）
• 项目主页：https://dreamllm.github.io

主题分类

• 主分类：计算机视觉与模式识别（cs.CV）
• 其他：计算与语言（cs.CL）、机器学习（cs.LG）

摘要

本文提出 DreamLLM，这是一个学习框架，首次实现了多功能多模态大语言模型（MLLMs），并赋予其常被忽视的"多模态理解与创造之间的协同能力"。DreamLLM 基于两条基本原则：

1. 在原始多模态空间中直接采样，对语言和图像的后验分布进行生成式建模。该方法规避了 CLIP 等外部特征提取器固有的局限和信息损失，从而获得更全面的多模态理解。
2. 促进原始交错文档的生成，同时对文本和图像内容以及非结构化布局进行建模。这使 DreamLLM 能够有效学习所有的条件、边缘和联合多模态分布。

因此，DreamLLM 成为首个能够生成自由形式交错内容的多模态大语言模型。大量实验表明，得益于增强的学习协同效应，DreamLLM 作为零样本多模态通用模型展现出优越的性能。

链接

• PDF：https://arxiv.org/pdf/2309.11499
• DOI：https://doi.org/10.48550/arXiv.2309.11499
• 许可：CC BY-NC-ND 4.0