Grasp, See, and Place: Efficient Unknown Object Rearrangement with Policy Structure Prior

基本信息

• 标题：Grasp, See, and Place: Efficient Unknown Object Rearrangement with Policy Structure Prior
• 作者：Kechun Xu, Zhongxiang Zhou, Jun Wu, Haojian Lu, Rong Xiong, Yue Wang
• arXiv 编号：arXiv:2402.15402
• 提交时间：2024 年 2 月 23 日（v1），最后修订于 2025 年 1 月 6 日（v4）
• 收录信息：已被 T-RO 接收（Accepted by T-RO）
• 主题分类：Robotics (cs.RO)；Machine Learning (cs.LG)
• DOI：https://doi.org/10.48550/arXiv.2402.15402

摘要

本文关注未知物体重排（unknown object rearrangement）任务，即机器人需要将物体重新配置为由 RGB-D 图像指定的目标构型。近期工作通过引入基于学习的感知模块来探索未知物体重排系统，但这些方法对感知误差较为敏感，且较少关注任务级性能。

本文旨在开发一个能够在感知噪声环境下有效完成未知物体重排的系统。作者从理论上揭示了噪声感知以解耦的方式影响抓取（grasp）和放置（place），并表明这种解耦结构对于提升任务最优性具有重要价值。

基于此，作者提出了 GSP——一种以解耦结构为先验的双环系统（dual-loop system）：

• 内环（inner loop）：学习一个观察策略（see policy），用于自信的手中物体匹配（in-hand object matching）；
• 外环（outer loop）：学习一个抓取策略（grasp policy），该策略在任务级奖励的引导下，同时感知物体匹配与抓取能力。

研究利用基础模型 CLIP 完成物体匹配、策略学习与自终止（self-termination）。一系列实验表明，GSP 能够以更高的完成率和更少的步数完成未知物体重排任务。