Eureka: Human-Level Reward Design via Coding Large Language Models

论文信息

• 标题: Eureka: Human-Level Reward Design via Coding Large Language Models
• 作者: Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar
• 提交日期: 2023年10月19日（v1），2024年4月30日（v2）
• 分类: Robotics (cs.RO); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
• 论文链接: https://arxiv.org/abs/2310.12931
• 项目网站: https://eureka-research.github.io/

摘要

大型语言模型（LLMs）在作为序列决策任务的高级语义规划器方面表现出色。然而，利用它们学习复杂的低级操作任务（如灵巧的笔旋转）仍是一个未解难题。本文弥合了这一基本差距，提出了 Eureka，一种由LLMs驱动的人类级别奖励设计算法。Eureka利用最先进的LLMs（如GPT-4）卓越的零样本生成、代码编写和上下文改进能力，对奖励代码进行进化优化。生成的奖励随后可通过强化学习用于获取复杂技能。无需任何任务特定提示或预定义奖励模板，Eureka生成的奖励函数即超越专家手工设计的奖励。在包含10种不同机器人形态的29个开源RL环境套件中，Eureka在83%的任务上优于人类专家，平均归一化提升达52%。Eureka的通用性还实现了一种新的无梯度上下文学习方法用于基于人类反馈的强化学习（RLHF），无需模型更新即可轻松融入人类输入以提升生成奖励的质量和安全性。最后，在课程学习设置中使用Eureka奖励，我们首次展示了模拟的Shadow Hand能够执行笔旋转技巧，以快速速度熟练地操纵笔进行圆周运动。