作者： Tatiana Lopez-Guevara, Yulia Rubanova, William F. Whitney, Tobias Pfaff, Kimberly Stachenfeld, Kelsey R. Allen
提交日期： 2024年1月22日
摘要：
精确模拟现实世界物体动力学对于机器人、工程、图形和设计等多种应用至关重要。为了更好地捕捉接触和摩擦等复杂的真实动力学，基于图网络的学习模拟器最近显示出巨大的潜力。然而，将这些学习模拟器应用于真实场景面临两大挑战：首先，扩展学习模拟器以处理现实世界场景的复杂性，这些场景可能涉及数百个具有复杂3D形状的物体；其次，处理来自感知而非3D状态信息的输入。本文介绍了一种能显著降低基于图的学习模拟器所需内存的方法。基于这种内存高效的模拟模型，我们随后提出了一种以可编辑神经辐射场（editable NeRFs）形式存在的感知接口，该接口可以将真实世界场景转换为可由图网络模拟器处理的结构化表示。我们证明，我们的方法在保持精度的同时，使用的内存比以往的基于图的模拟器要少得多，并且在合成环境中学习的模拟器可以应用于从多个摄像机角度捕获的真实世界场景。这为将学习模拟器的应用扩展到仅能获得感知信息的推理场景铺平了道路。
主题/分类：
- 主要主题： 机器学习 (cs.LG)
- 其他主题： 计算机视觉与模式识别 (cs.CV)；机器人学 (cs.RO)
备注： 16页，12张图