NVIDIA Nemotron 预训练数据集样本

数据集简介

这是由 NVIDIA 发布的 Nemotron 预训练数据集的样本版本，主要用于大型语言模型的预训练任务。

主要用途

• 为语言模型的预训练提供高质量的文本数据。
• 可用于模型训练、微调或作为研究基准数据集的参考。

数据类型/模态

• 模态：纯文本数据。

规模与格式

• 数据量：包含约 2.77 万行数据。
• 文件格式：数据以 Parquet 格式存储，便于高效读取和处理。
• 访问性：数据集是公开的，无需特殊权限即可下载。

使用场景

• 适用于自然语言处理（NLP）领域的研究人员和开发者。
• 可用于训练或评估文本生成、理解等任务的模型。