SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models
基本信息
- 标题：SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models
- 作者：Dan Zhang, Ziniu Hu, Sining Zhoubian, Zhengxiao Du, Kaiyu Yang, Zihan Wang, Yisong Yue, Yuxiao Dong, Jie Tang
- 提交时间：2024年1月15日（v1），最后修订于2024年11月18日（v3）
- arXiv 编号：arXiv:2401.07950 [cs.CL]
- 发表情况：Accepted to NeurIPS D&B Track 2024
- 代码与数据：https://github.com/THUDM/SciGLM
摘要
大型语言模型（LLMs）在辅助科学发现方面已展现出潜力。然而，当前这类应用受到 LLMs 在理解复杂科学概念、推导符号方程以及求解高等数值计算等方面能力不足的限制。为弥补这些差距，作者提出了 SciInstruct，一套用于训练具备大学水平科学推理能力的科学语言模型的科学指令数据集。
该工作的核心是一个新颖的自反思指令标注框架（self-reflective instruction annotation framework），用于应对科学领域的数据稀缺挑战。该框架利用现有 LLMs 为无标注科学问题生成逐步推理，随后进行自反思的批判与修订（critic-and-revise）过程。
基于该框架，作者构建了一个涵盖物理、化学、数学和形式证明的多样化高质量数据集，并从多个角度（如领域、规模、来源、问题类型、答案长度等）对数据集进行了分析。
为验证 SciInstruct 的有效性，作者使用该数据集微调了多种语言模型，包括 ChatGLM3（6B 和 32B）、Llama3-8B-Instruct 以及 Mistral-7B: MetaMath，提升了这些模型的科学与数学推理能力，同时未损害基座模型的语言理解能力。所有代码和 SciInstruct 数据集均已开源。
主题分类
- 主要分类：Computation and Language (cs.CL)
- 发表会议：NeurIPS D&B Track 2024
关键点
- 提出自反思指令标注框架，缓解科学领域训练数据稀缺问题
- 构建覆盖物理、化学、数学、形式证明的多领域高质量科学指令数据集
- 在多种语言模型（ChatGLM3、Llama3、Mistral）上验证了数据集的微调效果
- 代码与数据开源：https://github.com/THUDM/SciGLM