SEED-Story: 基于大语言模型的多模态长故事生成

基本信息

• 标题：SEED-Story: Multimodal Long Story Generation with Large Language Model
• 作者：Shuai Yang, Yuying Ge, Yang Li, Yukang Chen, Yixiao Ge, Ying Shan, Yingcong Chen
• 提交时间：2024年7月11日（v1）；最后修订于2024年10月11日（v2）
• 分类：Computer Science > Computer Vision and Pattern Recognition (cs.CV)
• arXiv ID：arXiv:2407.08683
• 资源：模型、代码和数据集已在 https://github.com/TencentARC/SEED-Story 发布

摘要

随着图像生成和开放式文本生成技术的显著进步，交错图文内容的创作日益成为一个引人入胜的领域。多模态故事生成——以交错方式生成叙事文本和生动图像为特征——已成为一项具有广泛应用价值且实用的任务。然而，该任务面临重大挑战，因为它需要理解文本与图像之间复杂的相互作用，并具备生成长篇连贯、上下文相关的文本与视觉内容的能力。

在本工作中，作者提出了 SEED-Story，一种利用多模态大语言模型（MLLM）生成扩展多模态故事的新方法。该模型基于 MLLM 强大的理解能力，同时预测文本 token 和视觉 token，随后通过适配的视觉去 token 化器（visual de-tokenizer）处理，生成具有一致角色和风格的图像。此外，作者提出了多模态注意力汇机制（multimodal attention sink mechanism），使其能够以高效自回归方式生成多达 25 个序列的故事（训练时仅需 10 个序列）。

最后，作者提出了一个大规模、高分辨率数据集 StoryStream，用于训练模型并从多个方面定量评估多模态故事生成任务。

主题分类

• 计算机视觉与模式识别（cs.CV）