数据集简介
AI2 ARC（AI2 Reasoning Challenge）是由艾伦人工智能研究所（AllenAI）创建的一个科学问答数据集，旨在评估和推动人工智能在复杂推理任务上的能力。
主要用途
该数据集主要用于训练和评估模型在科学知识领域的推理能力，特别是针对需要多步推理和常识知识的挑战性问题。
数据类型/模态
- 模态类型：纯文本
- 数据格式：问答对
- 问题类型：多项选择题
规模与统计信息
- 数据总量：7,787 条样本
- 下载量：超过 27.5 万次
- 社区认可度：获得 313 次点赞
数据特性与场景
- 核心挑战：包含需要深度科学理解和推理能力才能回答的问题，而非简单的信息检索
- 适用场景：
- 自然语言处理模型的推理能力评测
- 教育技术领域的智能辅导系统开发
- 科学知识问答系统的训练与评估
- 特点：问题难度较高，许多题目对人类来说也具有挑战性，能有效区分模型的真实理解能力与表面模式匹配