Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering

作者： Tal Ridnik, Dedy Kredo, Itamar Friedman

主题/分类： 机器学习 (cs.LG)；计算与语言 (cs.CL)；软件工程 (cs.SE)

提交日期： 2024年1月16日

摘要

代码生成问题与常见的自然语言问题不同——它们需要匹配目标语言的确切语法，识别理想路径和边界情况，关注问题规范中的大量细节，并解决其他代码特有的问题和需求。因此，许多在自然语言生成中成功的优化和技巧可能对代码任务无效。

在这项工作中，我们提出了一种新的基于大语言模型的代码生成方法，称为 AlphaCodium——一种基于测试的、多阶段的、面向代码的迭代流程，旨在提升大语言模型在代码问题上的性能。我们在一个名为 CodeContests 的具有挑战性的代码生成数据集上测试了 AlphaCodium，该数据集包含来自 Codeforces 等平台的竞赛编程问题。

该流程一致且显著地提升了结果。例如，在验证集上，GPT-4 的准确率 (pass@5) 从使用单个精心设计的直接提示时的 19% 提高到使用 AlphaCodium 流程时的 44%。我们相信，研究中获得的许多原则和最佳实践广泛适用于通用的代码生成任务。

完整实现： https://github.com/Codium-ai/AlphaCodium