Eureka: Human-Level Reward Design via Coding Large Language Models

论文信息

• 标题：Eureka: Human-Level Reward Design via Coding Large Language Models
• 作者：Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar
• 提交日期：2023年10月19日（v1）；最新版本 2024年4月30日（v2）
• arXiv ID：arXiv:2310.12931v1 [cs.RO]
• 项目网站与开源代码：https://eureka-research.github.io/

主题分类

• 主要分类：Robotics (cs.RO)
• 其他分类：Artificial Intelligence (cs.AI)、Machine Learning (cs.LG)

摘要

大型语言模型（LLMs）作为序贯决策任务的高层语义规划器已表现出色，但将其用于学习复杂的底层操作任务（如灵巧的转笔）仍是一个未解决的难题。本文提出了 Eureka，一种由 LLM 驱动的类人水平奖励设计算法，以弥合这一根本性差距。

Eureka 利用最先进 LLM（如 GPT-4）卓越的零样本生成、代码编写和上下文改进能力，对奖励代码进行进化优化。生成的奖励随后可通过强化学习用于习得复杂技能。无需任何任务特定的提示或预定义的奖励模板，Eureka 生成的奖励函数即可超越人类专家手工设计的奖励。

在包含 10 种不同机器人形态的 29 个开源强化学习环境中，Eureka 在 83% 的任务上超越了人类专家，平均归一化改进达 52%。Eureka 的通用性还促成了一种新的无梯度上下文学习式人类反馈强化学习（RLHF）方法，无需更新模型即可便捷地引入人类输入，以提升生成奖励的质量与安全性。最后，在课程学习设置中使用 Eureka 奖励，本文首次展示了模拟 Shadow Hand 能够完成转笔技巧，以高速熟练地让笔做圆周旋转。