论文:OVL-MAP: An Online Visual Language Map Approach for Vision-and-Language Navigation in Continuous Environments

作者:Shuhuan Wen (Senior Member, IEEE), Ziyuan Zhang, Yuxiang Sun, Zhiwen Wang

期刊:IEEE Robotics and Automation Letters (RA-L), Vol. 10, No. 4, pp. 3294–3301, April 2025(DOI: 10.1109/LRA.2025.3540577;IROS 2025 报告论文)

机构:燕山大学(智能控制与神经信息处理教育部重点实验室)、香港城市大学机械工程系

一、研究背景:VLN 的三代设定与两次"去理想化"

视觉语言导航(VLN)自 Anderson et al. (CVPR 2018) 提出以来,环境设定经历三代迭代、两次"去理想化":

  1. 离散环境(R2R时代,起点):智能体在预标注导航图节点间跳跃,每步有完美定位——与真实机器人差距巨大;

  2. 连续环境(第一次去理想化,VLN-CE, Krantz et al. ECCV 2020):抛弃导航图,在 Habitat 中以 0.25m/15° 离散动作移动——位置连续,动作仍"格子化";

  3. 连续动作空间(第二次去理想化,Robo-VLN, Irshad et al. ICRA 2021):动作变为线速度/角速度 + 停止,平均轨迹长达 326 步——真实差速机器人的控制接口。

地图表示的并行主线:拓扑图 → 俯视语义栅格图(CM²、WS-MGMap)→ Grid Memory Map(GridMM)→ 在线建图(ETPNav)。拓扑图路线的代表是拓扑-语义图记忆(TSGM,节点存图像与物体、边表可达关系)——它能表达环境结构,但无法表达障碍位置等细粒度空间信息:

preview

到 2023 年,VLMaps、ConceptFusion、CLIP-Fields 等已证明"像素级视觉-语言特征 + 3D 重建"可构建开放词汇场景地图——但均为离线建图,与任务无关。VLMaps(ICRA 2023)的建图管线是其直接前身;OVL-MAP 继承了这条管线,但把"无差别平均累积"改造为"指令门控写入":

preview

OVL-MAP 瞄准两道天花板:

  • 闭集语义的表达天花板:CM²、WS-MGMap 依赖几十类固定标签训练分割头,未标注类别无法表达、属性差异无法区分;

  • 静态离线地图的适应天花板:ETPNav 的在线拓扑图无语义细节;VLMaps 类方法建图与任务无关——建完"全能但不分主次"的地图,推理时再检索。

二、方法:三个模块的任务回路

OVL-MAP 由三个模块构成闭环:在线建图 → 指令条件下的路径点预测 → 动作决策。

📷 图 1|OVL-MAP 方法总览(原文 Fig. 1):左(蓝)为在线视觉-语言地图构建(LSeg 特征 + 深度反投影),右上(绿)为路径点预测(BERT + Cross-Modal Transformer + LSTM),右下(红)为动作决策模块。原文 PDF 直达

模块一:在线视觉-语言地图构建

(1) 视觉-语言特征提取:预训练 LSeg 编码器对每帧 RGB 做像素级开放词汇语义嵌入:

(2) 几何反投影:深度像素经相机内外参反投影到世界坐标系,落到俯视网格:

(3) 任务感知地图更新(式 3,全文最关键设计)。先给出原文式 3 的原始形式:

关于式 3 的一处记号说明(原文歧义):若 M_t−1[x,y] 是累积和,则原式恰为增量平均,数学自洽;若 M_t−1[x,y] 是均值,则分子应补 n 倍。原文未明确区分,存在记号歧义——本文后续解读按"均值读法"书写公式,特此注明。

解读:α 是"任务相关性门控"——与指令相关的区域被强化写入,无关区域被平均稀释。对比 VLMaps 的无差别平均累积:同一张地图,OVL-MAP 写出来是"任务聚焦"的。这同时缓解了在线建图最头疼的误差累积——无关观测不会随时间污染地图。

对"online"的准确定义:指令 I 是整句 BERT 编码后一次性输入的静态向量,α 在导航全程不随指令执行进度更新。因此 OVL-MAP 的"在线"准确含义是"在线建图 + 指令静态门控"——地图随观测流逐帧写入,但门控它的指令本身并不在线演化。即便如此,"建图阶段即引入任务偏置"已与 VLMaps 式"建图-任务解耦 + 事后检索"形成清晰的架构分野。

模块二:路径点预测模块(高层 LSTM)

模块三:动作决策模块(双任务支持)

三、实验结果深度解读

评测指标定义:SR(成功率,距目标 3m 内触发停止);SPL(路径长度加权成功率,惩罚绕路);OSR(oracle 成功率,轨迹曾经进入目标 3m 内的比例——衡量"到过但没停下");NE(导航误差,终点距目标距离);TL(轨迹长度)。

3.1 开放词汇地图能否降低对训练分布的依赖?——Robo-VLN 上的跨分布增益(Table I)

Robo-VLN 是最苛刻的设定:连续动作空间、平均 326 步长程轨迹。表中 Seq2Seq、PM(进度监控)、CMA(跨模态注意力)是从离散 VLN 迁移的经典基线;HCM(Hierarchical Cross-Modal Agent)是 Robo-VLN 任务的原生配套方法——Irshad et al.(ICRA 2021)的主模型,与其共享连续动作接口,构成最直接的公平对照。

方法

Val-Seen SR/SPL

Val-Unseen SR/SPL

Seq2Seq

36 / 34

33 / 30

PM

32 / 27

28 / 24

CMA

28 / 25

28 / 25

HCM

49 / 43

46 / 40

OVL-MAP57 / 5355 / 52

preview

OVL-MAP 对 HCM 的 SPL 增幅为 Seen +10 点、Unseen +12 点;同时 TL 未膨胀(Seen 12.36 vs HCM 13.53),增益来自决策质量而非保守搜索。一个直观的观察是 OVL-MAP 的 Unseen SPL(52)甚至高于 HCM 的 Seen SPL(43);HCM 的 Seen SPL 受其无显式空间记忆、纯端到端的架构限制。跨分布衰减幅度更能说明问题:OVL-MAP 的 Seen−Unseen SPL 落差仅 1 点(53→52,HCM 为 3 点,43→40)——方向与"开放词汇语义降低训练分布依赖"一致,但具体份额无法从该对比中剥离。

3.2 从"找到"到"停对":子目标定位质量与停止决策(Table II)

R2R-CE 三个分割的完整指标:

分割

TL↓

NE↓

OSR↑

SR↑

SPL↑

Val-Seen

11.89

3.88

71

70

59

Val-Unseen

12.12

4.62

64

6050

Test-Unseen

11.64

4.98

62

57

48

preview

Val-Unseen 上 SR 60 追平 Safe-VLN,SPL 50 反超其 47 达 3 点,且 TL 较 Safe-VLN 缩短 2.8(原文正文:"the path length (TL) was reduced by 2.8 compared to Safe-VLN")——成功率不降的同时路径效率更优。Test-Unseen 上 SR 57(较 ETPNav 的 55 提升 2 点),SPL 48 与 ETPNav 持平。

更有分析价值的是 OSR−SR = 4:OSR 衡量"轨迹是否到过目标 3m 范围",SR 要求"到过后正确停下",两者之差把失败拆成两类——找不到(OSR 低)与没停对(OSR 高但 SR 低)。4 个点的差值说明 OVL-MAP 的失败模式主要不在探索而在决策端。这一推断有独立的实验佐证:子目标噪声使预测路径点偏离真实目标,过早停止或反复修正随之增多——这正是 OSR 与 SR 被拉开的机制(Fig. 6 显示每注入 1% 噪声 SR 约掉 1.8 点,见 3.6)。两条证据链指向同一结论:系统的短板在"子目标→停止"的最后一环,而非感知。这也解释了作者为何在讨论中主动提出融合 ENP(能量式策略,显式建模状态-动作联合分布)作为后续方向。

3.3 地图模块的边际贡献:消融与语义地图对比(Table III/IV)

消融逐步叠加模块(R2R-CE Val-Unseen):

配置

TL↓

NE↓

OSR↑

SR↑

SPL↑

无 OVLMap、无路点预测(纯 RGB-D 端到端)

13.84

9.11

36

22

20

+ OVLMap(无路点预测)

12.37

6.90

43

36

22

完整(+ OVLMap + 路点预测)12.124.62646050

原文 Table III:OVL-MAP 在 R2R-CE Val-Unseen 上的三阶段消融

(原文 Table III 的三阶段消融)

两点观察:其一,第一行基线是"去掉整个在线 VL 地图模块、仅用 RGB-D 的端到端策略",而非仅去掉 LSeg 嵌入;其二,SR 从 22 → 36 → 60,两个模块的贡献并不均等——加入地图带来 +14 点,加入路点预测再带来 +24 点。这说明"显式空间记忆 + 指令条件选择"作为一个整体相对纯 RGB-D 端到端约有 2.7 倍的 SR 提升(混杂了地图表示、指令对齐、模块化架构多个变量,不能全部归因于地图本身),而其中路径点预测模块的边际贡献大于地图模块本身——这与 3.6 节"子目标预测是系统瓶颈"的分析相互呼应:系统的性能高度依赖"如何使用地图",而非"是否有地图"。

与闭集语义地图的对比(Table IV)则把归因收得更窄——三组方法共享近似的"建图 + 路径点预测 + 动作决策"架构,主要差异在建图表示,构成近似的控制变量比较:

建图方法

TL↓

NE↓

OSR↑

SR↑

SPL↑

Semantic map (CM²)

12.80

6.24

42.8

33

29

Multi-Granularity map (WS-MGMap)

12.34

6.18

49.9

40

35

OVLMap12.124.6264.06050

原文 Table IV:不同地图构建方法的对比(R2R-CE Val-Unseen)

OVLMap 的 NE 从 6.2 降至 4.62(−26%)最关键:导航误差直接反映子目标定位精度,说明 LSeg 开放词汇先验相对 UNet 闭集特征的优势主要落在定位层面,而非仅是分类更全。构建地图与真值的对照可直观感受这一差距:

构建地图质量对比:Top-Down 真值区域、GT 掩码、CLIP Map、CoW 与 VLMaps 的开放词汇定位

(图源:Google Research Blog)

3.4 分辨率不是越高越好:地图规模与 OSR 的权衡(Table V)

规模

TL↓

NE↓

OSR↑

SR↑

SPL↑

15×15

13.64

6.61

59.2

49.96

38.69

20×20

12.12

4.62

64.0

60.02

50.09

25×25

11.544.14

58.7

60.8451.32

preview

这组数据呈现一个真实的非单调权衡。25×25 在 TL/NE/SPL 上全面更优、SR 也略升(60.84 vs 60.02)——分辨率越高,子目标定位越精确;但 OSR 反而下滑约 5 个点(58.7 vs 64.0),说明"到过目标区域却没有识别出该停"的情形明显增多。分辨率收益主要体现在轨迹效率(TL/NE/SPL)上,而决策端的停止识别并未同步受益,甚至有所回退。一种合理的机制解释是:更细的网格让注意力在更多候选格子上分散("注意力碎片化"),子目标输出更碎。作者选择 20×20 应是对"成功率-效率-计算量"的多指标综合权衡,但 OSR 下滑的机制未在论文中验证(例如未对 25×25 下的子目标分布做可视化)。原文 Fig. 5 从另一侧提供了佐证:3cm/5cm/10cm 分辨率下,10cm 粗网格的局部地图与路径点预测明显模糊——分辨率对预测质量的影响真实存在,但 Table V 表明其收益存在上界。

preview

3.5 指令门控的可视化证据(Fig. 2)

📷 原文 Fig. 2(p.3298):Robo-VLN 成功 episode 的 BEV + RGB + OVLMap 俯视热力图演化。

指令 "Walk past the couches and through the arch and past the stairs on the right..." 下,OVLMap 在第 1、140、245、300、464 步的俯视热力图依次点亮 couches→arch→stairs→couches 区域(步数取自原图横轴标注)。地图的"亮区"始终与指令当前阶段对齐而非均匀累积——与 α 门控更新机制一致,地图随导航进度呈阶段性聚焦。

3.6 系统瓶颈在哪里:路径点噪声敏感性(Fig. 6)

📷 原文 Fig. 6(p.3300):子目标噪声注入后的 SR/SPL 柱状图。

3.7 部分观测的边界:失败案例与视野覆盖(Fig. 4)

📷 原文 Fig. 4(p.3300):视野受限导致厨房/洗碗槽识别不全的失败案例。

视野受限使洗碗槽只被部分观测,"厨房" 识别不完整导致失败。这是在线部分观测建图范式的固有短板(离线建图可用多趟扫描补全视野,在线建图没有第二次机会),作者提出全景视图/前向探索作为改进方向,但代价尚未量化。

四、批判性视角

α 门控的双面性,以及"地图应不应该任务中立"。方法部分称 α"天然抑制误差累积",它的代价则是被门控稀释的冗余信息可能永久丢失——二者是同一机制的两面:任务相关性门控在抑制无关噪声的同时牺牲冗余。更深一层是表示哲学问题:地图应在多大程度上"任务中立"?一个思想实验可以把代价条件化:同一场景、两条不同指令("去厨房" vs "去卧室"),VLMaps 式离线地图建一次图、可多次检索复用;OVL-MAP 因 α 门控在建图时就写入任务偏置,换指令即需重建(或至少重走)。这一代价在"指令频繁变化、场景可预扫描"的任务分布下会显著放大,而在"单指令、探索不可预先完成"的设定下可以忽略——所以 OVL-MAP 的选择不是单纯的性能优化,而是一种有适用条件的设计立场:地图为当前任务服务。论文未测试指令修改/错误指令下的鲁棒性,而该测试恰是检验这一立场的直接实验。

其余两点:

  1. 仍依赖外部精确位姿:反投影直接消费 Habitat 提供的定位,真实机器人 VIO 漂移会污染 M(作者承认未真机部署);

  2. 需区分语义红利与工程红利:SPL 的提升部分可能来自点导航执行器与 DD-PPO 策略本身,而非地图语义——论文自身的执行器对比实验部分回应了这一点。

五、前沿坐标(2025→2026)

沿显式地图路线:在 R2R-CE Val-Unseen 上,WP-CMA 的 SR/SPL 为 59/50,OVL-MAP 为 60/50——OVL-MAP 成功率略高、路径效率持平(WP-CMA 公开摘要仅明确给出 Val-Seen OSR 74,其 Val-Unseen 的 OSR 未见明确报告,故此处不做 OSR 对比)。2026 年的 LCGNav 将该路线的 SPL 提升至 56.85(LCG-ETP-R1(RFT),Val-Unseen;其基线 ETP-R1(RFT) 为 OSR 71.45 / SR 65.31 / SPL 55.77)——LCG 集成后只有 SPL 提升,OSR/SR 与基线基本持平(71.45→70.69,65.31→65.14),近期增益集中在路径效率而非到过率。从 LCGNav 的方法构成看,其增益来源是局部 3D 点云几何截断与语言一致性图等几何增强,而非建图语义增强。另一个现象是:OVL-MAP 较早提出的"指令门控语义写入",在后续地图式方法(WP-CMA、LCGNav)中均未见沿用——它们保留了决策时的 cross-attention 检索,却放弃了建图时的 α 门控。与其说这是"门控收益被注意力内化",不如说是写入偏置与读取检索的分工:门控改变的是地图里"记了什么"(写入阶段),注意力改变的是决策时"看什么"(读取阶段),二者作用于记忆系统的不同环节;后续工作选择了任务中立建图 + 任务条件读取的组合,利弊尚需系统评估。

沿 VLA 路线:NaVILA(RSS 2025)等不依赖显式地图、将空间推理内化进端到端策略的 VLA 方法,与 OVL-MAP 的外置显式地图构成直接的范式对照。两者更可能是条件分工而非替代:外置地图保留空间记忆的可解释、可编辑与跨任务复用,VLA 路线节省建图开销、依赖规模数据;在计算预算受限或需要审计导航决策的场景下,显式地图路线仍有结构性理由。

沿地图载体路线:以 3D 高斯泼溅为代表的新地图载体具备新视角渲染与开放词汇查询能力,可能重塑"在线建图"的成本结构——届时 OVL-MAP 式"网格 + 特征累积"方案在存储与更新效率上是否仍有优势,是一个尚未被回答的问题。

覆盖空白:OVL-MAP 正文的评测集中在 Robo-VLN 与 R2R-CE,未见 RxR-CE 结果——而后者以更长轨迹、多语言指令、NDTW/SDTW 路径跟随指标著称,恰是对其 LSTM 时序记忆与单层地图最严苛的检验。这一缺席本身应作为覆盖局限被指出。

总评:OVL-MAP 的贡献不在单点技术(LSeg/BERT/LSTM/DD-PPO 均成熟),而在于把视觉-语言地图从"离线场景感知工具"重新定义为"在线任务决策介质"。对"首个完整闭环"应加限定:ETPNav 已实现"在线建图 + 路径点预测 + 动作决策"的闭环(但地图为无语义嵌入的拓扑图),GridMM 已有全局记忆地图与指令相关性聚合(但限于离散动作空间)。OVL-MAP 的"首次"应准确表述为:首个将"开放词汇视觉-语言特征在线写入 + 指令门控更新 + 离散/连续双动作空间决策"三者整合为一个闭环系统的工作。


参考链接

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐