作者： Tal Ridnik, Dedy Kredo, Itamar Friedman
提交日期： 2024年1月16日
摘要：
代码生成问题与常见的自然语言问题不同——它们要求精确匹配目标语言的语法、识别正常路径和边界情况、关注问题规范中的众多微小细节，并解决其他代码特定的问题和要求。因此，许多在自然语言生成中成功的优化和技巧可能对代码任务无效。在这项工作中，我们提出了一种由大语言模型（LLMs）进行代码生成的新方法，我们称之为 AlphaCodium——一种基于测试的、多阶段的、面向代码的迭代流程，旨在提升LLMs在代码问题上的性能。我们在一个名为 CodeContests 的具有挑战性的代码生成数据集上测试了AlphaCodium，该数据集包含来自Codeforces等平台的竞争性编程问题。所提出的流程持续且显著地改善了结果。例如，在验证集上，GPT-4的准确率（pass@5）从使用单一精心设计的直接提示的19%提升到了使用AlphaCodium流程的44%。我们相信，在这项工作中获得的许多原则和最佳实践广泛适用于一般的代码生成任务。
完整实现可在以下网址获取：https://github.com/Codium-ai/AlphaCodium
主题/分类：
- 机器学习 (cs.LG)
- 计算与语言 (cs.CL)
- 软件工程 (cs.SE)