终极SLAM大一统方案来了!Ultra-Fusion爆杀60+开源系统,刷爆五大benchmark!

「一套代码通吃轮式/四足/无人机」
目录
1. 统一滑动窗口:多模态观测统一建模,实现WIO/VIO/LIO/LVIO自由切换
2. 可观测性自适应初始化:解决开机长时间等待、初始漂移问题
3. 因子级可靠性调度(FRS):退化观测精准抑制,多模态互相兜底
02 爆杀60+开源系统,五大benchmark刷到SOTA
多传感器融合SLAM做了这么多年,方案不少,能打的不多。
VINS系列只能做视觉惯性,Fast-LIVO绑定激光视觉,LIO-SAM仅支持激光IMU——全是“专用定制款”。
项目从无人车切换到四足机器人,或是增减一个传感器,就得重写状态变量、因子图、初始化逻辑。更麻烦的是传感器退化:隧道高楼GNSS丢失、暗光逆光相机失效、狭长走廊激光几何退化,传统方案一碰就崩。
Ultra-Fusion团队给了一套通用解法:
一套后端兼容轮速、相机、激光、IMU、GNSS任意搭配,原生解决传感器退化和外参漂移两大工程痛点。在自动驾驶、仓储机器人、四足配送、低空巡检无人机四类硬件上全部完成验证,配套M3DGR评测基准一次性对比60余款开源SLAM,五大公开数据集全部刷到SOTA。
论文标题:Ultra-Fusion: A Resilient Tightly-Coupled Multi-Sensor Fusion SLAM Framework under Sensor Degradation and Spatiotemporal Perturbation for Intelligent Transportation Systems
论文链接:https://arxiv.org/pdf/2606.21223
项目链接:https://sjtuyinjie.github.io/ultrafusion-web/
01 四大独创模块构成一体化鲁棒定位底座
整套系统以统一滑动窗口估计器为核心,搭配可观测性自适应初始化、因子级可靠性调度、在线时空双校准三大配套模块,任意传感器组合共用一套状态、边缘化、求解逻辑,不需要分系统调度。

图| Ultra-Fusion 整体总览 —— 跨传感器、多平台、多场景统一框架示意图
1. 统一滑动窗口:多模态观测统一建模,实现WIO/VIO/LIO/LVIO自由切换
传统融合方案会把激光里程计、视觉里程计作为外部先验塞进优化窗口,相当于二次信息压缩,丢失原始点、像素观测带来的精细约束。
Ultra-Fusion直接将激光点到平面残差、视觉重投影残差、IMU预积分、轮速预积分、GNSS位置约束全部作为可选择因子放入同一个优化窗口。

图| Ultra-Fusion 完整框架流程图
系统状态仅包含位姿、速度、IMU零偏,激光/相机/轮速外参、时序偏移作为可校准附加变量,不需要针对不同传感器修改状态维度。
文中核心目标公式仅做简化解读,不堆砌复杂推导:
代表窗口内所有设备状态,
是历史边缘化先验项;
是各类传感器残差,
由可靠性调度动态分配权重,
为鲁棒损失函数。
无论开启轮速(WIO)、纯视觉(VIO)、纯激光(LIO)还是激光视觉轮速全融合(LVWIO),优化目标形式完全一致,仅增减对应残差项,工程适配成本大幅降低。
同时针对激光扫描内运动畸变采用Slerp球面插值校正点云时间偏移,无需复杂连续时间轨迹模型,兼顾计算效率与点云精度,单帧优化耗时仅5~10ms,满足车载实时需求。
2. 可观测性自适应初始化:解决开机长时间等待、初始漂移问题
传统SLAM固定初始化流程:静止等待重力对齐,或是依赖充足视觉特征,在无光、无几何的场景下初始化耗时动辄数秒,初始误差极大。

图| 不同方案初始化延迟与 20 秒短时定位精度对比表
Ultra-Fusion设计四分支启动逻辑,系统自动根据运动激励、激光有效点数、视觉特征数量选择初始化模式:
- 动态视觉惯性初始化:光照充足、运动幅度大时采用SfM对齐;
- 静止/轮速辅助初始化:车辆原地、低速场景依靠IMU重力与轮速约束;
- 激光辅助MAP初始化:狭长走廊、无纹理场景依靠激光几何先验;
- 延迟初始化:观测不足时持续缓存数据,不输出错误轨迹。
在18组跨数据集序列测试中,对比FAST-LIVO2、Ground-Fusion++,Ultra-Fusion平均初始化延迟仅0.153秒,20秒短时轨迹平均误差0.483米;关闭自适应模块后延迟飙升至4.6秒,误差扩大数十倍,自适应初始化对冷启动稳定性提升极为明显。
3. 因子级可靠性调度(FRS):退化观测精准抑制,多模态互相兜底
这是论文最核心的创新,区别于前端简单过滤的传统退化处理思路。框架为相机、激光、IMU、轮速、GNSS五类传感器分别设计量化退化分数,分数越高代表观测可信度越低,后端自动对残差降权或直接屏蔽。

图| 因子可靠性调度消融实验误差对比图
- 激光退化打分:依靠Hessian矩阵特征值判断几何丰富度,狭长走廊、墙面单一平面场景自动弱化激光约束;

- 视觉退化打分:统计有效特征数量、空间分布均匀度、平均重投影误差,暗光、遮挡场景降低视觉权重;
- 轮速打分:对比IMU推算运动与轮速增量差值,草地打滑、悬浮车轮直接屏蔽轮因子;
- GNSS打分:根据卫星数量、定位精度、观测残差,隧道无卫星时彻底关闭GNSS项。

消融实验数据客观反映收益:单独开启激光FRS,退化场景平均误差降低75.3%;视觉模块降低36.2%,轮速模块降低41.3%。需要客观看待指标边界:该提升仅针对几何/光照/打滑类退化场景,完全无任何传感器的极端盲区,依旧会产生漂移,不存在100%零误差的方案。

图| 四类典型传感器退化场景轨迹定性效果图
4. 在线时空自校准(OSC):长期运行抑制外参时序漂移
多数在线校准方案存在缺陷:弱激励环境下持续更新参数,引入更大偏差。Ultra-Fusion拆分时序、旋转外参两条独立校准线程,设置双重准入门槛,仅满足多轴旋转、充足观测时才更新参数。

图| 注入不同 IMU 时间偏移下各方案 RMSE 误差对比表
- 时序校准:通过互相关匹配IMU角速度与激光运动曲线,搜索最优时间偏移,最大支持±500ms偏差修正;人为注入±200ms延迟的仿真序列,基线方案误差米级,Ultra-Fusion仍维持分米级精度;
- 激光-IMU旋转外参校准:利用扫描匹配与IMU预积分旋转约束,SVD闭式求解旋转矩阵,当多轴运动不足时锁定外参,避免错误修正。

图| 仿真场景时序偏移预测值分布图
校准更新时同步修正全局地图位姿,不会产生地图断层,兼顾定位与建图一致性。

图| 激光 - IMU 旋转外参扰动下定位误差对比表
02 爆杀60+开源系统,五大benchmark刷到SOTA
当前开源多传感器SLAM赛道分为三条路线:
- 专用模态方案:FAST-LIVO系列、LIO-SAM、VINS,优势是轻量化,短板传感器固定、恶劣场景鲁棒性差;
- 多子系统融合:Ground-Fusion系列,支持多模态但子系统分离,信息交互存在损耗;
- 统一单窗口全融合:Ultra-Fusion,唯一一套后端兼容全模态,内置退化调度+在线校准,跨硬件通用。
1. 公开数据集量化表现
评测覆盖M3DGR、M2DGRPlus、KAIST城市自动驾驶、GrandTour四足、MARS-LVIG无人机五大数据集,60余款主流SLAM横向对比。

图| M3DGR 数据集各场景 ATE RMSE 全算法对比表

图| M2DGR-Plus 数据集轨迹误差 / 漂移率对比表
- 城市高速场景(最高96.9km/h KAIST数据集):LVWIO融合方案漂移率仅0.37%,FAST-LIVO2漂移接近30%,高速下轮速约束的增益极其明显;
- 狭长激光退化走廊:主流LIO方案误差数米,Ultra-Fusion依靠视觉、IMU兜底,误差控制在0.3米以内;

图| 仿真隧道 / 荒野激光退化场景精度对比
- 长时间30分钟以上巡航:LVWIO平均轨迹误差2.8米,对比FAST-LIVO2的8.4米,长期漂移抑制优势突出;

图| 30 分钟以上长时序序列定位误差
- 四足机器人楼梯、颠簸地形、低空无人机多变视角:同类LVIO方案平均RTE厘米级误差领先,无剧烈跳变。
注:表格内ATE RMSE指标均为标准化数据集真值测算,数据集场景结构相对规整;真实城市复杂动态车流、大量移动物体未纳入测试,指标仅代表静态结构化环境性能,不能完全等同于实车路测表现。

图| MARS-LVIG 机场无人机全局三维重建地图(全局 + 建筑细节放大图)
2. 硬件适配能力行业独一档
绝大多数LVIO/LIO框架仅适配地面轮式机器人,四足振荡、无人机高速俯仰运动会造成跟踪丢失;Ultra-Fusion不绑定任何运动模型,无轮速时自动关闭轮因子,无GNSS依靠激光视觉惯性维持定位,分别在四类平台完成验证:

图| 四类跨平台轨迹真值对比图(隧道、长时序、四足、无人机)
1. 城市自动驾驶(KAIST高速序列);
2. 园区仓储差分轮机器人;
3. 四足配送巡检机器人(GrandTour);
4. 低空基础设施巡检无人机(MARS-LVIG)。
同类方案极少能同时覆盖地面、足式、空中三类移动平台,通用化是其核心差异化竞争力。
3. 配套M3DGR基准的行业价值
论文拓展了此前M3DGR数据集,新增仿真可控退化轨迹,总计37组真实+仿真序列,覆盖暗光、遮挡、狭长几何、车轮打滑、GNSS失锁全部典型故障场景,存储总量超300GB,同时提供仿真精准真值,可人为控制时序、外参扰动,用于校准算法对比。

图| M3D 基准数据集总览(场景分类、硬件平台、数据规模统计图)
目前业内缺乏统一、全覆盖的退化评测基准,M3DGR填补了这块空白,后续多传感器SLAM鲁棒性对比大概率会以此作为标准测试集。
03 真实工程落地价值
落地可落地场景

- 高阶自动驾驶车载定位:隧道、城市峡谷GNSS失效路段稳定连续定位,降低高精地图依赖;
- 室内外仓储、园区自动机器人:草地、颠簸路面抑制轮速打滑误差;
- 四足巡检、末端配送机器人:机身大幅振荡场景维持跟踪;
- 低空电力、机场巡检无人机:远距离无GPS航线建图定位;
- 算法研发基准:M3DGR数据集可用于自家SLAM退化鲁棒性对标。
工程层面两大实用红利
一套代码适配多产品线,减少重复开发;
内置退化检测与在线校准,降低产线标定维护成本。
客观局限性
仅聚焦定位与几何建图,未融合语义分割和动态目标剔除;固定窗口优化无专门回环模块,超长场景累积漂移仍会增长;低配嵌入式设备5-10ms单帧耗时存在压力;所有测试基于离线数据集,缺少大规模实车长期路测。
04 一套代码通吃所有平台的SLAM底座
2026年多传感器融合SLAM的核心需求,已经从“单一场景高精度”转向“全平台、全工况稳定可用”。
此前技术路线要么精度高但场景受限,要么多模态但架构割裂。Ultra-Fusion用统一滑动窗口打通了不同传感器、不同硬件平台的壁垒,通过因子级可靠性调度和在线时空校准解决了量产最头疼的传感器失效和长期漂移两大工程难题。
60余款主流算法大规模对比、五大公开数据集全SOTA、四类移动平台全部验证——Ultra-Fusion交出的是一份行业从未有过的完整答卷。
当然,这套框架属于定位底层基础模块,要真正适配高阶自动驾驶、复杂动态环境,还需要叠加动态目标处理、回环检测、语义地图等上层模块。
但至少,Ultra-Fusion给了行业一个真正能打的通用底座。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)