InstructPix2Pix: Learning to Follow Image Editing Instructions

作者： Tim Brooks, Aleksander Holynski, Alexei A. Efros

提交日期： 2022年11月17日（v1），最后修订于2023年1月18日（v2）

摘要

本文提出了一种根据人类指令编辑图像的方法：给定输入图像和一段文本指令，模型能够遵循指令对图像进行编辑。为了获取训练数据，作者结合了两个大型预训练模型——语言模型（GPT-3）和文生图模型（Stable Diffusion）——来自动生成大规模图像编辑示例数据集。所提出的条件扩散模型 InstructPix2Pix 在该生成数据上进行训练，并在推理时泛化到真实图像和用户编写的指令上。由于模型在前向传播过程中直接完成编辑，无需针对每个示例进行微调或反转，因此能够在数秒内快速完成图像编辑。作者展示了在多种输入图像和文本指令上的令人信服的编辑结果。

项目页面（含代码）： https://www.timothybrooks.com/instruct-pix2pix

主题分类

• 主要分类： Computer Vision and Pattern Recognition (cs.CV)
• 相关分类： Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Graphics (cs.GR); Machine Learning (cs.LG)