作者： Ruibo Liu, Jason Wei, Shixiang Shane Gu, Te-Yen Wu, Soroush Vosoughi, Claire Cui, Denny Zhou, Andrew M. Dai
提交日期： 2022年10月11日
主题/分类： Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
摘要：
成功且有效的人与AI沟通依赖于对世界的共同体验。当前的语言模型仅通过书面文本进行训练，缺乏人类在现实世界中的具身体验——它们无法将语言与物理世界联系起来，导致知识被错误表征，并在推理中犯下明显的错误。本文提出了“Mind's Eye”，一种将语言模型推理锚定在物理世界中的范式。给定一个物理推理问题，我们使用计算物理引擎（DeepMind的MuJoCo）来模拟可能的结果，然后将模拟结果作为输入的一部分，从而使语言模型能够进行推理。在一个物理对齐基准测试的39个任务上的实验表明，Mind's Eye可以大幅提升推理能力（平均零样本准确率提升27.9%，少样本准确率提升46.0%）。配备了Mind's Eye的较小语言模型可以获得与100倍大的模型相似的性能。最后，我们通过消融研究证实了Mind's Eye的鲁棒性。