作者：Qianqian Wang, Yifei Zhang, Aleksander Holynski, Alexei A. Efros, Angjoo Kanazawa
提交日期：2025 年 1 月 21 日
主题分类：Computer Vision and Pattern Recognition (cs.CV)
arXiv 编号：arXiv:2501.12387v1
项目主页：https://cut3r.github.io/
本文提出了一个能够解决多种 3D 任务的统一框架。该方法的核心是一个带状态的循环模型（stateful recurrent model），它随着每个新观测不断更新其状态表征。给定一串图像流，这一持续演化的状态可以以在线方式为每个新输入生成度量尺度的点图（pointmaps，即逐像素的 3D 点）。这些点图位于同一坐标系中，并可累积成随新图像到来而持续更新的连贯、稠密场景重建。
该模型名为 CUT3R（Continuous Updating Transformer for 3D Reconstruction，持续更新式 3D 重建 Transformer），它捕捉了真实世界场景的丰富先验：不仅能从图像观测中预测准确的 pointmaps，还能通过在未观测的虚拟视角上进行探测来推断场景中未见的区域。
该方法简单而高度灵活，可自然接受不同长度的图像输入——既可以是视频流，也可以是无序的照片集合，且同时包含静态与动态内容。作者在多种 3D/4D 任务上进行了评估，均展现出具有竞争力或达到最先进水平的性能。