数据集简介

这是一个由 Google 发布的数据集，主要用于训练和评估“奖励模型作为用户”（Reward Model as User）的研究。它模拟了在强化学习（RL）或大语言模型（LLM）对齐过程中，将奖励模型（RM）的反馈视为用户偏好的场景。

主要用途

• 研究如何利用奖励模型的输出来模拟真实用户的反馈，以优化或对齐AI模型（如语言模型）的行为。
• 可用于训练或测试基于人类反馈的强化学习（RLHF）或相关对齐方法的代理模型。

数据类型与模态

• 模态：表格数据、文本
• 格式：CSV
• 内容：数据集包含文本提示、模型响应以及对应的奖励模型评分（模拟用户偏好），结构上以表格形式组织。

规模与统计

• 数据量：包含 61,804 行数据。
• 访问性：公开可用，无需特殊权限。

使用场景

适用于对AI对齐、强化学习从人类反馈中学习（RLHF）、奖励建模以及偏好学习等领域感兴趣的研究人员和开发者。