Mixture-of-Agents Enhances Large Language Model Capabilities

基本信息

• 论文标题：Mixture-of-Agents Enhances Large Language Model Capabilities
• 作者：Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou
• 提交日期：2024年6月7日
• 论文编号：arXiv:2406.04692
• 分类：计算机科学 > 计算与语言 (cs.CL)

摘要

近年来，大型语言模型（LLM）在自然语言理解和生成任务中展现出显著能力。随着LLM数量的不断增长，如何利用多个LLM的集体专业知识是一个令人兴奋的开放方向。为此，本文提出了一种新方法——通过混合专家代理（Mixture-of-Agents, MoA） 方法论来利用多个LLM的集体优势。在该方法中，构建了一个分层的MoA架构，每一层包含多个LLM代理。每个代理将来自前一层的所有代理的输出作为辅助信息来生成自己的响应。MoA模型在AlpacaEval 2.0、MT-Bench和FLASK上取得了最先进的性能，超越了GPT-4 Omni。例如，仅使用开源LLM的MoA在AlpacaEval 2.0中以显著差距领先，得分达65.1%，而GPT-4 Omni得分为57.5%。