llm-jp/relaion2B-en-research-safe-japanese-translation

数据集简介

这是一个由 llm-jp 发布的大规模研究用数据集，旨在提供经过安全筛选的日语翻译文本，主要面向学术研究用途。

主要用途

• 用于训练或评估日语相关的语言模型（LLM）。
• 支持机器翻译、跨语言自然语言处理等研究。
• 作为高质量、安全的日语文本语料库。

数据类型/模态

数据集包含多种模态的数据：
* 文本：核心内容，为经过安全处理的日语翻译文本。
* 图像：可能包含与文本相关的图像数据。
* 表格数据：可能以结构化形式存储元信息或对齐数据。

规模与统计

• 数据量极大：包含超过 20.9 亿条 记录。
• 格式：数据以 Parquet 格式存储，便于高效处理。
• 访问性：数据集公开可用，无需特殊权限。

使用场景

适用于需要大规模、高质量日语语料的场景，例如：
* 日语大语言模型的预训练或指令微调。
* 跨语言信息检索与知识对齐研究。
* 构建安全的、适用于研究的日语数据集。