作者: Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, Vedant Misra
摘要:
语言模型在需要自然语言理解的广泛任务上取得了显著成就。然而，最先进的模型通常在需要定量推理的任务上表现不佳，例如解决大学水平的数学、科学和工程问题。为了帮助弥补这一差距，我们介绍了 Minerva，这是一个在通用自然语言数据上预训练，并在技术内容上进一步训练的大型语言模型。该模型在不使用外部工具的情况下，在技术基准测试中达到了最先进的性能。我们还在超过两百个需要定量推理的物理、生物、化学、经济学和其他科学的本科水平问题上评估了我们的模型，发现该模型能够正确回答其中近三分之一的问题。
主题/分类:
- 计算与语言 (cs.CL)
- 人工智能 (cs.AI)
- 机器学习 (cs.LG)
提交信息:
- 首次提交：2022年6月29日
- 当前版本：2022年7月1日 (v2)
- 论文页数：12页正文 + 5张图表 + 参考文献和附录