HuggingFaceTB/smollm-corpus

数据集简介

这是一个由 HuggingFaceTB 发布的大型文本语料库，主要用于训练或微调小型语言模型（Small Language Models, SLMs）。

主要用途

为构建和优化参数规模较小的语言模型提供高质量的预训练或指令微调数据。

数据类型与模态

• 模态：文本 (text)、表格 (tabular)
• 格式：Parquet 文件格式，便于高效存储和处理。

规模与统计信息

• 数据集包含约 2.37 亿行数据，规模庞大。
• 在社区中较受欢迎，已获得超过 4.3 万次下载和 438 个点赞。

使用场景

适用于研究人员和开发者进行：
* 小型语言模型（SLM）的预训练。
* 语言模型的指令微调。
* 大规模文本数据的分析与处理实验。