作者: Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D. Goodman
摘要:
生成逐步的“思维链”推理过程可以提升语言模型在数学或常识问答等复杂推理任务上的性能。然而，目前诱导语言模型生成推理过程，要么需要构建海量的推理数据集，要么只能通过少量样本推断而牺牲准确性。本文提出了一种技术，可以迭代地利用少量推理示例和一个没有推理过程的大规模数据集，来逐步引导模型执行更复杂推理的能力。这项技术名为“自教推理器”（Self-Taught Reasoner，STaR），它依赖于一个简单的循环：首先，用少量推理示例作为提示，生成推理过程来回答许多问题；如果生成的答案是错误的，则尝试在给定正确答案的情况下重新生成推理过程；然后，对所有最终产生正确答案的推理过程进行微调；重复此过程。实验表明，与直接微调预测最终答案的模型相比，STaR 在多个数据集上显著提升了性能；在 CommonsenseQA 数据集上，其表现与微调一个参数量大 30 倍的先进语言模型相当。因此，STaR 使模型能够通过从自身生成的推理中学习来改进自己。
主题/分类:
- 主要主题: Machine Learning (cs.LG)
- 其他主题: Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
提交信息:
- 提交日期: 2022年3月28日
- 最新修订: 2022年5月20日
- arXiv ID: 2203.14465