数据集简介
LiveCodeBench-CPP 是由 NVIDIA 发布的一个代码评测数据集，专注于 C++ 编程语言。它旨在用于评估和基准测试代码生成模型在 C++ 编程任务上的性能。
主要用途
该数据集主要用于对代码生成模型（特别是大型语言模型）在 C++ 编程场景下的能力进行系统性评测和基准测试。
数据类型与模态
- 模态类型：纯文本
- 数据格式：JSON
- 内容类型：编程问题与代码解决方案
规模与统计
- 数据量：包含 733 条数据样本
- 下载量：96 次
- 受欢迎度：获得 4 次点赞
使用场景
- 模型评估：测试代码生成模型在 C++ 编程任务上的准确性和效率
- 基准测试：为不同模型在 C++ 领域的性能提供可比较的基准
- 研究开发：支持代码生成、程序合成等相关领域的研究工作
特点
- 由 NVIDIA 官方发布，具有一定的权威性
- 专注于 C++ 这一特定编程语言
- 采用结构化 JSON 格式，便于程序化处理和分析
- 完全公开可用（非门控数据集）