OpenCodeInterpreter：集成代码生成、执行与迭代优化

基本信息

• 作者：Tianyu Zheng, Ge Zhang, Tianhao Shen, Xueling Liu, Bill Yuchen Lin, Jie Fu, Wenhu Chen, Xiang Yue
• 论文编号：arXiv:2402.14658v2
• 提交日期：2024年2月22日（v1），2024年2月28日修订（v2），最新版本2025年1月7日（v3）
• 分类：计算机科学 > 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL）

摘要

大型语言模型的引入显著推进了代码生成的发展。然而，开源模型通常缺乏像GPT-4 Code Interpreter这样的先进系统所具备的执行能力和迭代优化功能。为了解决这一问题，作者提出了OpenCodeInterpreter，一个专为生成、执行和迭代优化代码而设计的开源代码系统家族。

该系统由Code-Feedback数据集支持，该数据集包含68K个多轮交互样本。OpenCodeInterpreter将代码执行与人类反馈相结合，实现了动态的代码优化。作者在HumanEval、MBPP及EvalPlus增强版等关键基准上对OpenCodeInterpreter进行了全面评估。

结果显示，OpenCodeInterpreter-33B在HumanEval和MBPP的平均（及plus版本）上取得了83.2（76.4）的准确率，与GPT-4的84.2（76.2）表现相当；引入GPT-4合成的人类反馈后，准确率进一步提升至91.6（84.6）。OpenCodeInterpreter缩小了开源代码生成模型与GPT-4 Code Interpreter等专有系统之间的差距。

核心贡献

1. 提出OpenCodeInterpreter，一套集代码生成、执行与迭代优化于一体的开源代码系统
2. 构建Code-Feedback数据集，包含68K多轮交互样本，支持执行与人类反馈的代码动态优化
3. 在多个基准测试中达到与GPT-4 Code Interpreter相当的性能，显著缩小了开源与专有系统间的差距

引用信息

• 引用格式：arXiv:2402.14658 [cs.SE]
• DOI：https://doi.org/10.48550/arXiv.2402.14658