数据集简介
这是一个由 AI4Bharat 发布的指令微调数据集,旨在为印度语言(Indic languages)的 AI 模型训练提供高质量的指令-响应对数据。
主要用途
该数据集主要用于训练或微调能够理解和生成多种印度语言文本的大语言模型(LLMs),特别适用于构建遵循指令的多语言助手。
数据类型与模态
- 模态:纯文本(Text)
- 内容:包含指令(Instruction)和对应响应(Response)的配对数据,覆盖多种印度语言。
规模与统计
- 数据量:包含约 40.4 万行(404,287 条)指令-响应对。
- 格式:数据集以 Parquet 格式提供,便于使用
datasets、pandas 等库进行高效加载和处理。
使用场景
- 多语言指令微调:为支持印度语言的大模型(如翻译模型、对话助手)提供训练数据。
- 研究与发展:用于提升 AI 模型在印度语言上的指令遵循能力、知识问答和文本生成质量。
- 本地化AI应用:帮助构建服务于印度多元语言环境的 AI 应用。