作者: Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao
提交日期: 2022年10月6日 (v1)
最后修订: 2023年3月10日 (v3)
摘要:
虽然大语言模型（LLMs）在语言理解和交互式决策任务中展现了令人印象深刻的能力，但其推理能力（例如思维链提示）和行动能力（例如行动计划生成）此前主要作为独立课题进行研究。在本文中，我们探索了使用LLMs以交错方式同时生成推理轨迹和任务特定行动，从而实现两者之间更大的协同作用：推理轨迹帮助模型推导、跟踪和更新行动计划以及处理异常，而行动则允许其与外部源（如知识库或环境）交互以收集额外信息。我们将此方法命名为ReAct，并将其应用于一系列语言和决策任务，证明了其相对于最先进基线的有效性，以及在可解释性和可信度方面优于没有推理或行动组件的方法。具体而言，在问答（HotpotQA）和事实核查（Fever）任务上，ReAct通过与简单的维基百科API交互，克服了思维链推理中普遍存在的幻觉和错误传播问题，并生成了比没有推理轨迹的基线更可解释的类人任务解决轨迹。在两个交互式决策基准（ALFWorld和WebShop）上，ReAct分别以34%和10%的绝对成功率优于模仿学习和强化学习方法，而仅使用一到两个上下文示例进行提示。
项目与代码: https://react-lm.github.io
主题分类:
- 计算与语言 (cs.CL)
- 人工智能 (cs.AI)
- 机器学习 (cs.LG)
arXiv标识符: arXiv:2210.03629 [cs.CL]