lmms-lab/RefCOCO

数据集简介

RefCOCO 是一个用于视觉语言定位的数据集，专注于图像中特定对象的指代表达式理解。其核心任务是：给定一句自然语言描述（指代表达式），在图像中定位并分割出所描述的目标对象。

主要用途

该数据集主要用于训练和评估指代表达式分割与视觉定位模型。模型需要理解文本描述，并在对应的图像中精确地找到所指的目标。

数据类型/模态

数据集包含多模态数据：
* 图像：包含多个对象的场景图片。
* 文本：与图像中特定对象对应的自然语言描述（指代表达式）。
* 时序数据：可能涉及指代关系的序列或标注信息。

规模与统计

• 数据集总行数：17,596 条记录。
• 下载量：超过 7,200 次。
• 数据格式：主要以 Parquet 格式存储。

使用场景

1. 视觉语言模型训练：用于提升模型理解跨模态指代关系的能力。
2. 引用表达式理解：研究如何根据语言描述在视觉场景中进行精确定位。
3. 人机交互：应用于需要根据自然语言指令与视觉环境交互的场景，如机器人操控、图像编辑等。