MAGiSt3R：基于前馈模型的多智能体单目视频三维重建

arXiv:2607.15211v1 [cs.CV] 2026-07-16
项目主页：https://zorangong.github.io/magist3r_page/
开源协议：arXiv永久非独占许可
作者：龚梓仁、李晓涵、Fabio Tosi、徐宁辉、Stefano Mattoc、蔡建飞、Matteo Poggi
单位：意大利博洛尼亚大学、香港大学牙医学院、东南仪器科学与工程学院、澳大利亚莫纳什大学

摘要

本文提出MAGiSt3R多智能体三维重建框架，可基于单目RGB视频同步完成场景重建与相机位姿跟踪，推理速度接近10FPS。框架依托3R系列前馈模型预测局部点云，设计MAGMA全局地图聚合模块，分别在单智能体内、多智能体间完成子地图融合；后端搭配位姿图优化（PGO）消除前馈流水线累积漂移。
在合成、真实多智能体数据集上完成全面评测，对比现有单/多智能体前馈三维重建基线，MAGiSt3R重建精度、相机轨迹跟踪误差均具备显著优势。
关键词：多智能体SLAM；单目三维重建；前馈3R模型；子地图融合；位姿图优化；无标定相机

1 引言

1.1 研究背景

多智能体协同成为人工智能主流范式，在机器人视觉三维重建领域衍生多智能体SLAM方案：多个机器人独立采集图像，联合构建全局场景地图。传统SLAM分为两类：

1. 离线重建：SfM、MVS，需完整图像集，无法在线实时处理视频流；
2. 在线SLAM：实时处理图像序列，早期稀疏特征SLAM（ORB-SLAM）仅输出稀疏点云；近年NeRF、3DGS类稠密SLAM可渲染新视角，但依赖单场景迭代优化，推理速度慢、无法跨场景泛化。

1.2 3R前馈模型带来新范式

DUSt3R、MASt3R、VGGT等3类3R视觉基础模型无需场景专属微调，单前馈推理即可从任意RGB图像预测深度、点云、内外参，无需深度传感器，适配无标定单目设备。但现有3R SLAM均为单智能体方案，长序列下相机漂移严重，且缺少多机器人协同融合机制。

1.3 本文核心创新 MAGiSt3R

首个面向单目RGB视频的多智能体前馈稠密重建框架，整体分为三级流水线：

1. 单智能体内重建：每个机器人独立分段处理视频，通过VGGT生成局部子地图，增量融合为本机统一坐标系子图；
2. 跨智能体地图对齐：基于全局描述子检测不同机器人轨迹重叠回环，调用MAGMA融合多智能体局部点云至同一全局坐标系；
3. 后端位姿图优化：子地图融合后全局优化所有相机位姿，消除长序列累积漂移。
   核心MAGMA（Multi-Agent Global Map Aggregation）模块支持单/多智能体两层子地图融合。

核心贡献

1. 提出首个多智能体前馈稠密重建框架，仅使用无标定单目RGB视频，增量统一坐标系全局点云；
2. 设计MAGMA全局地图聚合模块，同时支持单智能体内、多智能体间两级子地图融合；
3. 将3R前馈模型拓展至多机器人协同场景，在多智能体数据集上重建、跟踪指标全面超越现有SOTA基线。

图1 MAGMA模型整体架构：输入全局子图与新局部子图，通过检索匹配关键帧、几何+视觉多模态编码，双向解码器输出对齐后的统一全局点云和相机位姿。

2 相关工作

2.1 离线三维重建

SfM/MVS需全部图像离线处理，近年衍生NeRF、MVSplat等隐式/显式稠密重建方案，但无法在线处理实时视频，不适合机器人动态建图。

2.2 传统与神经在线SLAM

1. 稀疏SLAM：ORB-SLAM依赖手工特征，仅稀疏重建；
2. 神经隐式SLAM（iMap、NICE-SLAM、Co-SLAM）：基于MLP/体素网格，需单场景迭代优化，速度慢；
3. 3DGS显式SLAM（GS-SLAM、SplaTAM）：实时渲染，但同样依赖场景专属优化，泛化性差；
   以上方案均未适配多机器人协同建图。

2.3 3R前馈视觉基础模型SLAM

DUSt3R、MASt3R、VGGT、SLAM3R、Ov3R为代表，单次前馈预测深度、点云、相机内外参，无需迭代优化，可实时处理视频；但全部为单机器人方案，无多智能体子图融合机制。

2.4 多智能体SLAM

分为集中式（CCM-SLAM）、分布式（Swarm-SLAM）两类，现有神经多智能体方案（MNE-SLAM、MAGIC-SLAM）均依赖RGB-D深度相机，基于NeRF/3DGS迭代优化，开销巨大；本文MAGiSt3R是首个基于纯RGB前馈3R模型的多智能体建图框架。

3 方法：MAGiSt3R整体架构

整体流程：多机器人RGB视频输入 → 各智能体独立生成局部子图 → MAGMA单机子图增量融合 → 跨机器人回环检测 + MAGMA全局融合 → 位姿图PGO全局优化。

3.1 单智能体内重建 Intra-agent Reconstruction

每个机器人分段处理视频，生成连续局部子地图：

1. 子图增量生成
   取连续m帧图像序列${\mathbf{I}}_i$送入VGGT前馈模型，输出相机token、稠密深度图、置信度图、相机内外参：
   $${\mathbf{t}}_i,{\mathbf{D}}_i,{\mathbf{C}}_i,{\mathbf{P}}_i={\Phi }_{\text{VGGT}}({\mathbf{I}}_i)$$
   基于深度与相机参数逆投影生成原始点云${\mathbf{X}}_i$，按置信阈值${\tau }_{\text{conf}}$过滤低可信度三维点。
   同步通过ViT提取视觉token、DINOv2 SALAD提取空间token+全局场景描述子：
   $${\mathbf{\upsilon }}_i=E_{\text{ViT}}({\mathbf{I}}_i),{\mathbf{\delta }}_i,{\mathbf{\vartheta }}_i=E_{\text{SALAD}}({\mathbf{I}}_i)$$
   单段子图定义：Si={ti,Xi,Ci,Pi,υi,δi,ϑi}\bm{S}_{i}=\{\bm{t}_{i},\bm{X}_{i},\bm{C}_{i},\bm{P}_{i},\bm{\upsilon}_{i},\bm{\delta}_{i},\bm{\vartheta}_{i}\}Si​={ti​,Xi​,Ci​,Pi​,υi​,δi​,ϑi​}，每段子图取中间帧作为关键帧存入关键帧集合${\mathbf{I}}_{\text{key}}$，用于后续回环检索与地图融合。
   每段子图拥有独立局部坐标系，依靠MAGMA逐步对齐至本机全局统一坐标系。

3.2 MAGMA：多智能体全局地图聚合模块

MAGMA核心功能：输入已有全局参考子图${\mathbf{S}}_{\text{ref}}$、待注册新局部子图${\mathbf{S}}_{\text{reg}}$，融合输出统一坐标系下更新后的全局点云与相机位姿。

3.2.1 关键帧检索匹配

利用全局描述子$\mathbf{\delta }$计算新子图与历史全局关键帧相似度，选取相似度Top-N帧作为参考集${\mathbf{S}}_{\text{ref}}$，当前局部子图作为注册集${\mathbf{S}}_{\text{reg}}$。

3.2.2 几何+视觉多模态编码器

1. 几何编码器$E_{\text{geo}}$对点云分块卷积生成几何token，捕获空间结构；
2. 视觉-空间融合外观token：
   $${\mathbf{\alpha }}_{\text{ref}}={\mathbf{\upsilon }}_{\text{ref}}+\text{softmax}\left(\frac{{\mathbf{\upsilon }}_{\text{ref}}{\mathbf{\vartheta }}_{\text{ref}}^T}{\sqrt{d}}\right){\mathbf{\vartheta }}_{\text{ref}}$$
   融合视觉纹理与空间结构特征，解决纯几何匹配歧义；
3. 拼接相机token、几何+外观融合特征得到完整特征$\mathbf{F}$。

3.2.3 双向解码器

注册解码器$D_{\text{reg}}$、参考解码器$D_{\text{ref}}$分别执行自注意力+跨注意力交互，输出融合特征${\mathbf{G}}_{\text{ref}},{\mathbf{G}}_{\text{reg}}$。

3.2.4 预测头

1. DPT点云头：输出优化后参考点云、对齐注册点云与置信图；
2. 位姿头：基于相机token注意力机制，预测对齐后全部相机SE(3)位姿。

3.2.5 端到端训练损失函数

总损失由三项加权构成：
$$\mathcal{L}={\lambda }_{\text{reg}}{\mathcal{L}}_{\text{reg}}+{\lambda }_{\text{pose}}{\mathcal{L}}_{\text{pose}}+{\lambda }_{\text{geo}}{\mathcal{L}}_{\text{geo}}$$

1. 注册损失${\mathcal{L}}_{\text{reg}}$：置信加权预测点云与真值欧氏距离；
2. 位姿损失${\mathcal{L}}_{\text{pose}}$：预测相机内外参与真值误差；
3. 几何一致性损失${\mathcal{L}}_{\text{geo}}$：不同帧点云重投影误差，保证全局空间一致性。

3.3 多智能体间重建 Inter-agent Reconstruction

1. 跨机器人回环检测
   将第一个机器人首帧坐标系定为全局基准，新机器人子图生成后，通过全局描述子$\mathbf{\delta }$与基准机器人全部关键帧计算相似度，超过阈值${\tau }_{\text{loop}}$判定存在重叠回环。
2. 跨智能体子图融合
   检测回环后，将基准全局子图作为${\mathbf{S}}_{\text{ref}}$、新机器人局部子图作为${\mathbf{S}}_{\text{reg}}$送入MAGMA，输出对齐至全局坐标系的新机器人点云与相机轨迹，完成多机器人地图统一融合。

3.4 后端位姿图优化 PGO

所有子图融合完成后执行全局图优化，抑制长序列累积漂移：

1. 图构建：每个子图对应SE(3)位姿节点；单智能体内MAGMA输出相对变换为普通边；跨机器人回环匹配生成回环约束边；
2. 优化求解：列文伯格-马夸尔特算法最小SE(3)对数误差目标：
   $$\min \sum _{i,j\in \epsilon }{\Vert \log \left(e_{ij}^{-1}(n_i^{-1}{n}_j)\right)\Vert }_{{\Omega }_{ij}}^2$$
   ${\Omega }_{ij}$为边置信信息矩阵；
3. 位姿更新：PGO求解得到修正变换，批量更新所有子图内全部相机轨迹。

4 实验设置与结果

4.1 数据集

训练集

ScanNet、ScanNet++、Aria合成室内数据集，切分场景模拟双机器人轨迹用于MAGMA训练。

评测集

1. ReplicaMultiagent：合成多房间场景，2台机器人同步采集，提供真值相机与点云；
2. AriaMultiagent：真实室内多机器人采集视频，仅真值相机轨迹，无完整真值点云。

4.2 实验超参

• VGGT单次输入连续帧数$m=10$，步长$s=5$；
• 点云置信阈值${\tau }_{\text{conf}}=0.25$；
• 回环相似度阈值${\tau }_{\text{loop}}=0.6$；
• 检索匹配Top-N=10；
• 损失权重${\lambda }_{\text{reg}}=1,{\lambda }_{\text{pose}}=1,{\lambda }_{\text{geo}}=0.8$；
• MAGMA训练：A100*4，batch=5，200 epoch，lr=1.5e-5。

4.3 评测指标

1. 重建：Accuracy（点云平均误差）、Completeness（完整度，越低越好）；
2. 跟踪：ATE RMSE 绝对轨迹误差（越低代表相机漂移越小）。

4.4 基线方案

1. 单智能体3R基线：DUSt3R、MASt3R、SLAM3R、MASt3R-SLAM、VGGT-SLAM；
2. 多智能体对比：单智能体输出点云后RANSAC+ICP手工融合（RICP）、同期MA-MASt3R-SLAM；
3. RGB-D多智能体参考：Swarm-SLAM、CP-SLAM、MAGIC-SLAM（仅作精度上限对比，无法纯RGB运行）。

4.5 消融实验（ReplicaMultiagent多机场景）

表1 融合策略消融

方案	Acc	Comp	ATE RMSE
(A) RICP手工融合	8.89	6.47	7.66
(B) SL(4)流形优化融合	13.66	11.67	18.94
© SLAM3R L2W模块	9.71	7.16	9.19
(D) MAGMA仅单机训练	6.89	4.93	5.35
(E) 完整MAGiSt3R	5.37	3.36	3.87
(F) 移除几何一致性损失	5.88	3.60	3.97
(G) 移除空间token	6.04	3.71	4.19
结论：MAGMA融合效果显著优于传统ICP、SL(4)、L2W；几何损失、空间token为核心有效模块。

表2 主干/PGO模块消融

方案	Acc	Comp	ATE RMSE
完整MAGiSt3R	5.37	3.36	3.87
替换SAIL-Recon主干	5.97	3.88	4.06
移除PGO位姿图优化	6.18	4.11	5.65
结论：VGGT主干+PGO全局优化缺一不可，移除PGO跟踪误差大幅上升。

4.6 定量对比实验

单机器人独立运行指标（节选）

全部室内场景平均，MAGiSt3R重建精度、完整度、轨迹误差全面优于DUSt3R/MASt3R/VGGT-SLAM等前馈基线。

多机器人协同全局指标（表5）

方法	Apart0 ATE	Apart1 ATE	Apart2 ATE	Office0 ATE	平均ATE
DUSt3R+RICP	8.35	12.27	11.43	14.28	11.58
MASt3R+RICP	4.02	6.58	5.66	7.69	5.99
VGGT-SLAM+RICP	3.42	10.34	7.39	7.97	7.15
MA-MASt3R-SLAM	5.24	5.48	—	2.57	4.43
MAGiSt3R(本文)	2.75	5.81	3.84	3.09	3.87
在纯无标定单目RGB输入条件下，MAGiSt3R多机协同轨迹误差远低于所有同类前馈多智能体方案，逼近RGB-D多机SLAM精度水平。

4.7 推理速度对比

方案	帧率FPS
CP-SLAM(RGB-D)	<1
MAGIC-SLAM(RGB-D)	22
DUSt3R/MASt3R	<1
SLAM3R	3
MA-MASt3R-SLAM	11
VGGT-SLAM	23
MAGiSt3R	9
MAGiSt3R稳定达到近10FPS实时推理，平衡重建精度与运行速度。

5 真实自定义场景定性实验

采集两台机器人低重叠（仅15%）室内长视频，场景内存在动态移动人物，属于极具挑战性建图场景。

图5：全局重建俯视图，红蓝分别为两台机器人轨迹，绿色区域为画面重叠区域；MAGiSt3R可正确对齐低重叠轨迹，无重复场景、漂移失真。

6 结论

本文提出MAGiSt3R，首个面向单目RGB视频的多智能体前馈稠密三维重建框架，依靠MAGMA模块完成单机增量、多机跨层子地图融合，搭配后端位姿图优化抑制长序列相机漂移。
在合成、真实多机器人数据集评测中，重建完整度、相机轨迹误差显著优于现有全部3R前馈基线，推理速度稳定近10FPS。

局限性与未来工作

1. 局限：仅室内静态场景验证，昼夜、极端光照差异机器人无法对齐；未支持大规模数十台集群智能体；
2. 未来方向：拓展室外场景、开发多机大规模基准、融合动态物体去除模块、进一步提升推理帧率。

参考文献

完整参考文献见原文项目主页与arXiv原文