DB-GPT-Hub: 基于大语言模型的 Text-to-SQL 解析

🔥🔥🔥 最新动态

• 支持 Text2NLU 微调，以提升语义理解准确性。
• 支持 Text2GQL 微调，用于生成图查询语句。

基线模型性能

Text2SQL 执行准确率 (ex) 评估结果，我们将把此部分移至 src/dbgpt_hub_sql
- 更新时间：2023/12/08
- 评估指标：执行准确率 (ex)
- 更多细节请参考 docs/eval-llm-result.md

目录

• DB-GPT-Hub: 基于大语言模型的 Text-to-SQL 解析
• 基线模型性能
• 目录
• 1. 项目简介
• 2. Text-to-SQL 微调
  • 2.1. 数据集
  • 2.2. 模型
• 3. 使用指南
  • 3.1. 环境准备
  • 3.2 快速开始
  • 3.3. 数据准备
  • 3.4. 模型微调
  • 3.5. 模型预测
  • 3.6 模型权重
  • 3.6.1 模型与微调权重合并
  • 3.7 模型评估
• 4. 路线图
• 5. 贡献指南
• 6. 致谢
• 7. 引用
• 8. 许可证
• 9. 联系我们

1. 项目简介

DB-GPT-Hub 是一个利用大语言模型 (LLMs) 实现 Text-to-SQL 解析的实验性项目。该项目涵盖了数据收集、数据预处理、模型选择与构建、模型权重微调等多个阶段。通过这些过程，我们的目标是提升 Text-to-SQL 的能力，同时降低模型训练成本，使更多开发者能够为提高 Text-to-SQL 的准确性做出贡献。我们的最终目标是实现基于数据库的自动问答能力，允许用户使用自然语言描述执行复杂的数据库查询。

截至目前，我们已经成功集成了多个大模型，并建立了一个包含数据处理、监督微调 (SFT) 模型训练、预测输出和评估的完整工作流。本项目开发的代码在项目内部易于复用。

截至 2023 年 10 月 10 日，我们已使用本项目对开源的 13B 规模模型进行了微调，并加入了更多相关数据。在零样本提示下，使用 基于 Spider 的测试套件，我们针对一个大小为 1.27G 的数据库实现了 0.764 的执行准确率。此外，针对 Spider 官方网站 指向的大小为 95M 的数据库，执行准确率达到 0.825。

2. Text-to-SQL 微调

我们通过对大语言模型应用监督微调 (SFT) 来提升 Text-to-SQL 的性能。

2.1. 数据集

本项目示例使用的主要数据集是 Spider 数据集：

• SPIDER: 一个跨领域的复杂 text2sql 数据集，包含 10,181 个自然语言查询，5,693 条 SQL 分布在 200 个独立的数据库中，涵盖 138 个不同的领域。下载链接

其他可用的 text2sql 数据集：

• WikiSQL: 一个大型语义解析数据集，由 80,654 个自然语言语句表达和 24,241 个表的 SQL 注释组成。WikiSQL 中的每个查询都限制在同一张表内，不包含排序、分组等复杂操作。
• CHASE: 一个跨领域多轮交互式 text2sql 中文数据集，包含 5,459 个多轮问题列表，由 17,940 个 <查询, SQL> 二元组组成，跨越 280 个不同的领域数据库。
• BIRD-SQL: 一个大规模跨领域英文 text-to-SQL 基准测试，特别关注大型数据库内容。该数据集包含 12,751 个 text-to-SQL 数据对和 95 个数据库，总大小为 33.4 GB，涵盖 37 个职业领域。BIRD-SQL 数据集通过探索三个额外的挑战，即处理大型和混乱的数据库值、外部知识推理以及优化 SQL 执行效率，弥合了 text-to-SQL 研究与实际应用之间的差距。

• CoSQL: 一个用于构建跨领域对话式 text-to-SQL 系统的语料库。它是 Spider 和 SParC 任务的对话版本。CoSQL 包含来自 Wizard-of-Oz 收集的 3k 个对话中的 30k+ 轮次和 10k+ 个带注释的 SQL 查询，这些对话查询了 138 个领域中的 200 个复杂数据库。每个对话模拟了一个现实的数据库查询场景，其中一名工作人员作为用户探索数据库，一名 SQL 专家使用 SQL 检索答案、澄清模糊问题或以其他方式提供信息。

• 遵循 NSQL 的处理模板，对数据集进行了基本处理，产生了大约 20W 数据集

2.2. 模型

DB