Txtinstruct — 轻量文本指令数据生成与处理工具

用于指令微调的数据集与模型

txtinstruct 是一个用于训练指令微调模型的框架。

本项目的目标是支持开放数据、开放模型以及与您自有数据的集成。当前最大的问题之一是指令跟随数据集和大型语言模型的许可条款不清晰。txtinstruct 让构建您自己的指令跟随数据集，并使用这些数据集训练指令微调模型变得简单。

txtinstruct 基于 Python 3.8+ 和 txtai 构建。

安装

最简单的方式是通过 pip 和 PyPI 安装

pip install txtinstruct

您也可以直接从 GitHub 安装 txtinstruct。建议使用 Python 虚拟环境。

pip install git+https://github.com/neuml/txtinstruct

支持 Python 3.8+

有关解决特定环境安装问题的帮助，请参阅 此链接。

示例

以下示例笔记本展示了如何使用 txtinstruct 构建模型。

笔记本	描述
txtinstruct 介绍	构建指令微调数据集和模型

延伸阅读

• 使用您自己的数据通过 txtinstruct 对模型进行指令微调