ibm-research/ITBench-Trajectories

数据集简介

ITBench-Trajectories 是由 IBM Research 发布的一个数据集，主要用于评估和基准测试智能体（Agent）在复杂、多步骤任务中的表现。

主要用途

该数据集旨在为智能体（尤其是基于大型语言模型的智能体）提供一个标准化的测试平台，用于衡量其在遵循指令、执行多步骤操作、处理工具调用以及与环境交互等方面的能力。

数据类型/模态

数据集包含任务轨迹，记录了智能体完成特定任务过程中的一系列状态、动作和观察。这些轨迹通常以结构化的格式（如 JSON）存储，包含了：
* 任务描述：需要完成的目标。
* 环境状态：任务执行过程中的世界状态。
* 动作序列：智能体采取的行动（如工具调用、API请求）。
* 观察结果：执行动作后环境的反馈。

核心特点

1. 基准测试导向：专门设计用于对智能体进行系统性、可重复的评估。
2. 多步骤任务：关注需要连续决策和长期规划的复杂任务，而非单一问答。
3. 结构化轨迹：提供完整的执行历史，便于分析智能体的决策过程、错误模式和成功率。
4. 由权威机构发布：由 IBM Research 创建，增加了数据集的可靠性和参考价值。

使用场景

• 智能体研究与开发：训练和评估任务导向型智能体、规划智能体或工具使用智能体。
• 基准测试：比较不同智能体模型或算法在相同任务集上的性能。
• 错误分析：通过分析失败的任务轨迹，诊断智能体的弱点并改进其设计。