MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
基本信息
- arXiv ID：2304.10592v1
- 作者：Deyao Zhu、Jun Chen、Xiaoqian Shen、Xiang Li、Mohamed Elhoseiny
- 提交日期：2023 年 4 月 20 日（v1）；最新版本 v2 于 2023 年 10 月 2 日更新
- 主题分类：Computer Vision and Pattern Recognition (cs.CV)
- 备注：Deyao Zhu 与 Jun Chen 对本工作贡献相同；项目主页、代码、预训练模型与数据集均已公开
摘要
近期发布的 GPT-4 展现出非凡的多模态能力，例如直接从手写文本生成网站、识别图像中的幽默元素等，这些能力在以往的视觉-语言模型中很少见。作者认为，GPT-4 之所以具备先进的跨模态生成能力，主要原因在于它使用了更先进的大语言模型（LLM）。
为了验证这一现象，本文提出了 MiniGPT-4：它仅用一个投影层，就将一个冻结的视觉编码器与一个冻结的大语言模型 Vicuna 对齐。
研究发现，MiniGPT-4 具备许多与 GPT-4 相似的能力，例如生成详细的图像描述、根据手写草稿创建网站等。此外，还观察到一些新出现的能力，包括：
- 根据给定图像创作故事和诗歌
- 解答图像中呈现的问题
- 根据食物照片教用户如何烹饪
实验中发现，仅在原始图文对上做预训练，会产生不自然的语言输出，缺乏连贯性，包括重复和句子碎片化。为解决该问题，作者在第二阶段精心构建了一个高质量、良好对齐的数据集，并采用对话模板对模型进行微调。这一步对于提升模型生成的可靠性与整体可用性至关重要。
值得注意的是，该模型计算效率很高：仅训练一个投影层，使用约 500 万对齐的图文对。
关键要点
- 核心思路：冻结视觉编码器 + 冻结 LLM（Vicuna），仅训练一个投影层进行模态对齐
- 两阶段训练：先在大规模图文对上预训练，再用高质量对齐数据集做对话式微调
- 计算高效：仅训练投影层，约 500 万图文对
- 开源资源：代码、预训练模型和数据集均已发布