# Octo: 一个开源的通才机器人策略
- **论文标题**: Octo: An Open-Source Generalist Robot Policy
- **作者**: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine
- **提交日期**: 2024年5月20日 (v1)，最后修订于2024年5月26日 (v2)
- **分类**: Robotics (cs.RO); Machine Learning (cs.LG)
- **项目网站**: [https://octo-models.github.io](https://octo-models.github.io)
## 摘要
在多样化机器人数据集上预训练的大规模策略有潜力改变机器人学习：这类通用机器人策略可以仅用少量域内数据进行微调，而不是从头开始训练新策略，同时还能实现广泛泛化。然而，为了广泛适用于各种机器人学习场景、环境和任务，这些策略需要处理多样化的传感器和动作空间，适配多种常用机器人平台，并且能够快速高效地微调至新领域。在这项工作中，我们旨在为开发开源、广泛适用的机器人操作通用策略奠定基础。作为第一步，我们引入了 **Octo**，这是一个基于 Transformer 的大规模策略，在 **Open X-Embodiment** 数据集（迄今为止最大的机器人操作数据集）上的 **80万条轨迹** 上进行了训练。它可以通过语言指令或目标图像进行指令控制，并且能够在标准消费级 GPU 上仅用几小时就有效地微调至具有新感官输入和动作空间的机器人设置。在跨越 **9 个机器人平台** 的实验中，我们证明了 Octo 可以作为一种通用的策略初始化，能够有效地微调至新的观测和动作空间。我们还对 Octo 模型的设计决策（从架构到训练数据）进行了详细的消融研究，以指导未来构建通用机器人模型的研究。