ViperGPT: Visual Inference via Python Execution for Reasoning

基本信息

• 论文标题：ViperGPT: Visual Inference via Python Execution for Reasoning
• 作者：Dídac Surís, Sachit Menon, Carl Vondrick
• 提交日期：2023年3月14日
• 分类：Computer Vision and Pattern Recognition (cs.CV)
• 论文链接：arXiv:2303.08128
• 项目网站：https://viper.cs.columbia.edu/

摘要

回答视觉查询是一项需要同时进行视觉处理和推理的复杂任务。端到端模型是该任务的主流方法，但并未明确区分视觉处理与推理过程，这限制了模型的可解释性和泛化能力。学习模块化程序是一种有前景的替代方案，但由于需要同时学习程序和模块，该方案一直面临挑战。

本文提出了 ViperGPT 框架，该框架利用代码生成模型将视觉-语言模型组合成子程序，从而为任意查询生成结果。ViperGPT 使用提供的 API 访问可用模块，并通过生成可执行的 Python 代码来组合这些模块。这一简单方法无需额外训练，并且在多种复杂视觉任务上取得了最先进的结果。