Self-Refine: Iterative Refinement with Self-Feedback

基本信息

• 论文标题：Self-Refine: Iterative Refinement with Self-Feedback
• 作者：Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
• 提交日期：2023年3月30日（v1），2023年5月25日（v2）
• 主题分类：Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
• 论文链接：arXiv:2303.17651
• 资源链接：代码、数据和演示请访问 selfrefine.info

摘要

与人类一样，大型语言模型（LLM）并非总能在第一次尝试时生成最佳输出。受人类如何修改完善书面文本的启发，本文提出Self-Refine，一种通过迭代反馈和优化来改进LLM初始输出的方法。其主要思想是：首先使用LLM生成初始输出；然后，同一个LLM对其自身输出提供反馈，并利用该反馈进行自我优化，重复这一过程。Self-Refine不需要任何监督训练数据、额外训练或强化学习，而是将同一个LLM同时作为生成器、优化器和反馈提供者。

本文在7个多样化的任务上对Self-Refine进行了评估，任务范围从对话回复生成到数学推理，使用的模型包括GPT-3.5、ChatGPT和GPT-4等最先进的LLM。在所有评估任务中，使用Self-Refine生成的输出在人类评估和自动指标上均优于使用同一LLM通过传统单步生成获得的输出，任务性能平均提升约20%（绝对值）。该工作表明，即使像GPT-4这样最先进的LLM，也可以通过这种简单、独立的方法在测试时得到进一步改进。