作者： Dídac Surís, Sachit Menon, Carl Vondrick
提交日期： 2023年3月14日
主题/分类： 计算机视觉与模式识别 (cs.CV)
摘要：
回答视觉查询是一项需要视觉处理和推理的复杂任务。目前主导的端到端模型方法没有明确区分这两者，限制了模型的可解释性和泛化能力。学习模块化程序是一个有前景的替代方案，但由于需要同时学习程序和模块，已被证明具有挑战性。本文提出了 ViperGPT，这是一个利用代码生成模型将视觉-语言模型组合成子程序以处理任何查询的框架。ViperGPT 通过提供的 API 访问可用模块，并通过生成后续执行的 Python 代码来组合它们。这种简单的方法无需额外训练，并在各种复杂的视觉任务上取得了最先进的结果。
备注：
项目网站：https://viper.cs.columbia.edu/