OA0
OA0 是一个探索 AI 的社区
现在注册
已注册用户请  登录
说明
  • 条目同步来自 Hugging Face 主要方便针对性讨论。
OA0  ›  数据集  ›  AI4Bharat

ai4bharat/indic-instruct-data-v0.1

 
  AI4Bharat  ·  2024-03-01 04:07:46  ·  17 次点击  ·  0 条评论  

数据集简介

这是一个由 AI4Bharat 发布的指令微调数据集,旨在为印度语言(Indic languages)的 AI 模型训练提供高质量的指令-响应对数据。

主要用途

该数据集主要用于训练或微调能够理解和生成多种印度语言文本的大语言模型(LLMs),特别适用于构建遵循指令的多语言助手。

数据类型与模态

  • 模态:纯文本(Text)
  • 内容:包含指令(Instruction)和对应响应(Response)的配对数据,覆盖多种印度语言。

规模与统计

  • 数据量:包含约 40.4 万行(404,287 条)指令-响应对。
  • 格式:数据集以 Parquet 格式提供,便于使用 datasetspandas 等库进行高效加载和处理。

使用场景

  • 多语言指令微调:为支持印度语言的大模型(如翻译模型、对话助手)提供训练数据。
  • 研究与发展:用于提升 AI 模型在印度语言上的指令遵循能力、知识问答和文本生成质量。
  • 本地化AI应用:帮助构建服务于印度多元语言环境的 AI 应用。
17 次点击  ∙  0 人收藏  
登录后收藏  
0 条回复
关于 ·  帮助 ·  PING ·  隐私政策 ·  服务条款   
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
耗时 13 ms
Developed with Cursor