高德发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon：显存降60% 速度快2

　　8月28日消息，阿里巴巴集团旗下高德正式发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon。该模型无需长程记忆，仅凭连续12帧局部画面，即可实时稳定重建上万帧的3D场景，实现“边拍边建”。在 KITTI、Oxford Spires、VBR等权威评测中，ABot-Recon均取得最低误差的SOTA。

　　伴随自动驾驶、具身智能等技术走向开放环境，物理AI需要的不再只是”看见"，而是在移动中持续理解空间：我在哪、周围有什么、下一步怎么走。尤其在定位信号弱、变化快的商场、园区、仓库等私域场景，系统难以依赖一次性建图或事后重建。

　　目前，主流的解决方案是通过流式3D重建技术实现三维场景的实时重建，但是该技术会受到误差累积和显存过大等一系列问题的影响。为了保持长距离场景的全局一致，传统的流式3D重建会在重建中设置记忆锚点，模型需要依赖长程记忆不断保存、检索和融合历史信息。当序列越长时，模型的速度越慢、精度越差、显存越高。

　　ABot-Recon选择了一条全新的技术路径：“局部位姿预测+残差优化”，以应对长序列对精度、速度和显存的挑战。与同类方法不同，ABot-Recon摒弃了采用长程记忆锚点的方式来进行记忆对齐，模型只以最近的12帧连续画面作为局部上下文窗口，每次只预测当前相机坐标系下的局部点云和相邻两帧之间的相对位姿，使计算复杂度保持恒定且保证了轨迹平滑，再通过在线组合逐步拼出完整的全局轨迹与三维场景。因为预测目标始终是局部的、与序列长度无关，模型的内存与单帧计算量不再随视频变长而膨胀。

　　面对局部预测中的误差累积问题，ABot-Recon 在预测和训练端分别设计了纠偏和误差约束机制，实时校准轨迹误差。

　　精度上，在Oxford Spires长序列基准测试中，ABot-Recon的平均轨迹误差较行业代表方法LingBot-Map降低40.6%；相对旋转误差RPE-R低至0.12°，为同类流式方法最优，较前代SOTA降低约40%。

　　速度上，在KITTI-02测试中，ABot-Recon实现24.45FPS的实时重建，推理速度达到行业代表方法的1.24倍。在平均轨迹误差低于20米的全部方法中，ABot-Recon吞吐最高、显存最低。

　　显存方面，ABot-Recon峰值显存占用仅约6.71GB，约为同类模型的三分之一，这意味着一张消费级显卡GTX 1080Ti就足以运行，大幅降低了流式3D重建的使用门槛。

　　值得一提的是，ABot-Recon仅需单目RGB视频输入，无需额外深度传感器或已知相机参数，就能实现万帧级的实时三维重建。这使它既能服务测绘行业的私域建图与底图更新，也能广泛应用于具身智能、自动驾驶和3D内容生产等场景。

　　据悉，目前，ABot-Recon已在GitHub开源了推理及评测代码和权重，并在魔搭社区上线了体验专区。