Otter: A Multi-Modal Model with In-Context Instruction Tuning

基本信息

• 标题：Otter: A Multi-Modal Model with In-Context Instruction Tuning
• 作者：Bo Li、Yuanhan Zhang、Liangyu Chen、Jinghao Wang、Fanyi Pu、Joshua Adrian Cahyono、Jingkang Yang、Ziwei Liu
• 提交时间：2023 年 5 月 5 日（v1）；最后修订：2025 年 7 月 28 日（v2）
• 发表信息：已被 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）2025 接收
• 论文链接：https://arxiv.org/abs/2305.03726
• DOI：https://doi.org/10.48550/arXiv.2305.03726

主题分类

• 主分类：Computer Vision and Pattern Recognition（cs.CV）
• 其他：Computation and Language（cs.CL）

摘要

近年来，大型多模态模型（Large Multimodal Models, LMMs）作为视觉助手展现出巨大潜力。然而，现有工作大多侧重于响应单个指令，或利用先前的对话进行上下文理解，鲜有讨论如何将图像和文本同时作为上下文示例（in-context examples）来提升指令跟随能力。

为弥补这一空白，作者提出了 Otter 模型，同时利用文本和视觉上下文示例进行指令微调（instruction tuning）。Otter 基于 Flamingo + Perceiver 架构，并针对通用多模态助手进行了指令微调。它能够无缝处理多模态输入，支持的模态包括文本、多张图像以及动态视频内容。

为支持 Otter 的训练，作者提出了 MIMIC-IT（MultI-Modal In-Context Instruction Tuning）数据集，包含超过 300 万条多模态指令-响应对，其中约 220 万条为跨多种图像与视频的独特指令。MIMIC-IT 经过精心整理，为每条数据提供了多样化的上下文示例。

综合评估表明，使用这些上下文示例进行指令微调，可显著提升模型的收敛速度和泛化能力。值得注意的是，MIMIC-IT 数据集广泛的场景覆盖，使 Otter 模型在涉及复杂视频和多图像理解的任务中表现优异。