allenai/multipref

数据集简介

MultiPref 是由 AllenAI 发布的一个文本偏好数据集，主要用于训练和评估偏好学习模型。

主要用途

该数据集的核心用途是支持基于人类偏好的模型对齐研究，例如训练奖励模型或进行直接偏好优化（DPO）。

数据类型与模态

• 模态：纯文本
• 内容：包含成对的文本样本（例如，模型的不同回复），并标注了人类对其的偏好选择。

规模与统计

• 样本数量：31,383 条
• 格式：Parquet
• 下载量：432 次

使用场景

适用于自然语言处理领域的研究人员和开发者，用于：
1. 训练更符合人类价值观和偏好的语言模型。
2. 开发或评测奖励模型。
3. 进行对比学习或强化学习从人类反馈中学习的研究。