The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

基本信息

• 标题：The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery（AI 科学家：迈向全自动开放式科学发现）
• 作者：Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, David Ha
• arXiv ID：2408.06292
• 提交日期：2024年8月12日（v1），最后修订于2024年9月1日（v3）
• DOI：https://doi.org/10.48550/arXiv.2408.06292
• 开源代码：https://github.com/SakanaAI/AI-Scientist

主题分类

• 主分类：人工智能（cs.AI）
• 交叉分类：计算与语言（cs.CL）、机器学习（cs.LG）

摘要

人工通用智能的一大核心挑战是开发能够开展科学研究并发现新知识的智能体。尽管前沿模型已被用作人类科学家的辅助工具（例如头脑风暴、编写代码或预测任务），但它们目前仍仅承担科学研究流程中的一小部分工作。本文提出了首个面向全自动科学发现的综合框架，使前沿大语言模型能够独立开展研究并传播其研究成果。

作者提出了 The AI Scientist，该系统能够：生成新颖的研究想法、编写代码、执行实验、可视化结果、撰写完整科学论文来阐述其发现，并随后运行模拟评审流程进行评估。原则上，这一过程可以反复迭代，以开放式方式持续发展想法，如同人类科学共同体一样。

作者通过在机器学习的三个不同子领域（扩散建模、基于 Transformer 的语言建模、学习动力学）中应用该系统，验证了其通用性。每个想法被实现并发展为完整论文的成本低于每篇 15 美元。为评估生成的论文，作者设计并验证了一个自动化审稿系统，实验表明其在论文评分方面达到了接近人类的表现水平。根据其自动化审稿系统的判断，The AI Scientist 生成的论文可以超过顶级机器学习会议的录用阈值。

作者认为，这一方法标志着机器学习科学发现新时代的开端：将 AI 智能体的变革性优势带入 AI 自身研究的全流程，并使世界更接近于一个能够针对最具挑战性问题释放无尽且可负担的创造力与创新的未来。