作者： Dong Huang, Jie M.Zhang, Michael Luck, Qingwen Bu, Yuhao Qing, Heming Cui
提交/修订日期： 2023年12月20日提交，2024年5月24日修订（v3）
主题/分类： Computation and Language (cs.CL)
摘要：
自然语言处理（NLP）的进步因基于Transformer的大语言模型（LLMs）的发展而显著加速。这些模型彻底改变了NLP任务，特别是在代码生成方面，帮助开发者以更高的效率创建软件。尽管取得了这些进展，但在平衡代码片段生成与有效的测试用例生成和执行方面仍然存在挑战。为了解决这些问题，本文提出了多智能体辅助代码生成（AgentCoder），这是一种新颖的解决方案，包含一个由专门智能体组成的多智能体框架：程序员智能体、测试设计者智能体和测试执行者智能体。在编码过程中，程序员智能体将专注于根据测试执行者智能体的反馈进行代码生成和优化。测试设计者智能体将为生成的代码生成测试用例，测试执行者智能体将使用这些测试用例运行代码，并向程序员提供反馈。这种协作系统确保了鲁棒的代码生成，超越了单智能体模型和传统方法的局限性。我们在9个代码生成模型和12种增强方法上进行的广泛实验表明，AgentCoder在各种基准测试中的性能优于现有的代码生成模型和提示工程技术。例如，AgentCoder（GPT-4）在HumanEval和MBPP数据集上分别实现了96.3%和91.8%的pass@1，总token开销为56.9K和66.3K，而现有最佳方法仅获得90.2%和78.9%的pass@1，总token开销为138.2K和206.5K。
其他信息：
* 页数： 24页，12张图
* arXiv ID： 2312.13010