AgentBench: Evaluating LLMs as Agents
基本信息
- 论文标题：AgentBench: Evaluating LLMs as Agents
- 作者：Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, Jie Tang
- 发表日期：2023 年 8 月 7 日提交（v1），2025 年 10 月 4 日最后修订（v3）
- 发表信息：Published in ICLR 2024
- arXiv 编号：arXiv:2308.03688 [cs.AI]
- DOI：https://doi.org/10.48550/arXiv.2308.03688
主题分类
- 主分类：Artificial Intelligence (cs.AI)
- 其他分类：Computation and Language (cs.CL)；Machine Learning (cs.LG)
摘要
大型语言模型（LLM）作为智能体（Agent）的潜力近来已被广泛认可。因此，迫切需要在交互式环境中对 LLM 作为智能体在挑战性任务上的表现进行定量评估。本文提出 AgentBench，一个包含 8 个不同环境的多维度基准，用于评估 LLM 作为智能体的推理与决策能力。
作者对多个基于 API 的商业 LLM 与开源（OSS）LLM 进行了广泛测试，结果表明：顶尖商业 LLM 在复杂环境中展现出较强的智能体能力，但它们与许多参数量不超过 70B 的开源竞争者之间存在显著的性能差距。
研究进一步识别了环境与 LLM 中的典型失败原因，指出较差的长期推理、决策与指令遵循能力是开发可用 LLM 智能体的主要障碍。改善指令遵循能力以及在高质量多轮对齐数据上训练，可以提升智能体表现。与既有假设不同的是，代码训练对不同智能体任务的影响是矛盾的（ambivalent impacts）。
资源发布
数据集、环境以及 AgentBench 的集成评估工具包已在以下地址发布：
https://github.com/THUDM/AgentBench