数据集简介
Indic-Align 是由 AI4Bharat 团队创建的一个大规模平行语料库，主要用于支持印度语言（Indic languages）的机器翻译和自然语言处理研究。
主要用途
该数据集的核心功能是提供高质量的句子级对齐文本，旨在训练和评估跨印度语言的机器翻译模型，特别是针对资源相对匮乏的印度语言。
数据类型与模态
- 模态类型：文本（Text）、表格（Tabular）
- 数据格式：以 Parquet 文件格式存储，便于高效处理大规模数据。
- 数据特性：包含平行对齐的句子对，覆盖多种印度语言。
规模与统计
- 数据量：包含超过 9740 万行（约 9740 万个句子对或数据点），规模庞大。
- 访问性：数据集完全公开（非门控），可直接下载使用。
使用场景
- 机器翻译模型训练：为多语言翻译模型，特别是涉及印度语言的模型，提供训练数据。
- 语言对齐研究：用于研究不同印度语言之间的句法和语义对齐。
- 多语言 NLP 基准测试：可作为评估模型在印度语言上性能的基准数据集。