数据集简介
RICO-ScreenQA-Complex 是一个基于 RICO 数据集构建的屏幕问答数据集，专注于复杂的视觉问答任务。它针对移动应用界面（UI）屏幕截图，要求模型理解界面元素及其关系，并回答需要多步推理的问题。
主要用途
- 训练和评估视觉语言模型在移动应用界面理解方面的能力。
- 支持复杂的屏幕内容问答，例如：“如何在这个界面上找到设置选项？”或“点击哪个按钮可以分享内容？”
- 可用于人机交互、UI自动化测试、无障碍辅助技术等研究。
数据类型/模态
- 图像：移动应用屏幕截图（来自 RICO 数据集）。
- 文本：与屏幕相关的复杂问答对（问题与答案）。
规模与统计
- 数据量：11,781 条样本（图像-问答对）。
- 格式：Parquet。
- 支持库：datasets, dask, mlcroissant, polars。
使用场景
- 学术研究：视觉问答、多模态学习、UI 理解。
- 工业应用：自动化测试脚本生成、智能助手（指导用户操作应用）、UI 设计分析。
- 教育工具：帮助新手学习如何使用复杂应用界面。