数据集简介
由 AllenAI 发布的 Dolma3 Dolmino Mix-100B-1125 是一个大规模、开放访问的文本数据集，主要用于训练和评估大型语言模型。
主要用途
- 语言模型预训练：为大型语言模型（LLM）提供高质量的预训练数据。
- 模型评估与基准测试：可用于评估模型在多样化文本上的性能。
数据类型/模态
- 模态：纯文本数据。
- 特性：数据集内容经过精心混合与筛选，旨在提供多样化和高质量的文本语料。
规模与统计
- 数据规模：包含约 1000 亿个词元（tokens），规模庞大。
- 访问性：完全开放（
gated: false），无需特殊申请即可下载使用。
- 受欢迎度：截至元数据记录时，已获得超过 7.8 万次下载和 17 次点赞。
使用场景
- 研究人员和开发者可用于：
- 训练新的大型语言模型。
- 微调现有模型。
- 进行文本生成、理解等相关任务的实验与基准测试。