## 摘要 机器人地图上真正值钱的信息，不是"这里有把锤子"，而是"我有多确定这里有把锤子"——这个 0 到 1 之间的置信度，决定了规划器下一步是"走过去"还是"撞上去"。 **CrossMaps** 是 ICRA '26 ROSE Workshop 的论文，它把**几何、语义、时序三类置信度**直接塞进栅格地图的融合权重，再用 **STM（短期记忆）与 LTM（长期记忆）两层地图**把瞬时噪声和长期地标分开。在 NVIDIA Jetson Orin 驱动的巡视器上，它和 RTAB-Map 同机实时跑，能接自然语言查询（论文演示的是 "plant" 与 "hammer"）。边界要说在前面：这篇论文**摘要未给数值**，没有任何定量指标。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV1ebJ26BEw5) ``` 章节时间轴 00:43 作者介绍 01:24 研究背景与动机 02:25 相关工作 03:06 方法 05:24 关键设计 —— 置信度、晋升与查询 06:46 实验设计 07:47 实验结果 09:44 系统实现与部署权衡 10:28 局限与讨论 11:20 要点总结 12:04 参考文献 ``` [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation | | 标题（中文） | 让地图知道自己有多可信：巡视器的开放词汇语义建图与双记忆门控 | | 作者 | Jan-Niklas Klein, Sona Ghahremani†, Christian Medeiros Adriano†, Holger Giese | | 机构 | 哈索·普拉特纳研究所（HPI）· 波茨坦大学 —— 系统分析与建模组 / 信息物理系统实验室（CPSLab） | | 会议 | ICRA '26 ROSE Workshop | | arXiv | https://arxiv.org/abs/2606.16935 | | 项目网站 | https://github.com/jniklasklein/crossmaps | ## 背景与动机 巡视器在没有 GPS、没有先验地图的环境里，只能靠相机和里程计一寸一寸把世界画出来。这类任务的关键特征是**部分可观测**：传感器有噪声，光照会产生伪影，不同区域观测密度差得很远，测距本身也不总可靠。 过去几年，机器人地图经历了三次能力升级。第一次是几何 SLAM，ORB-SLAM3 和 RTAB-Map 能给出精确位姿和几何重建，但地图里没有"物体是什么"这一层。第二次是把语言接进来，VLMaps 把 CLIP 嵌入贴进占据栅格，地图第一次能用自然语言查询，这也是 CrossMaps 的直接前身。第三次是往 3D 表示里塞语义，OpenScene、Open-Fusion、OpenOcc 把开放词汇嵌入投到点云、TSDF 和占据栅格上，但主流做法仍面向离线或静态场景。 问题出在这些工作的共同假设上：它们把**所有证据融进单一表征**，几乎不处理不确定性。可对巡视器来说，"这里可能是锤子"和"我确定这里是锤子"是两件完全不同的事，前者直接送进规划器就变成了危险动作。 论文用一个更短的说法概括这个缺口：地图不只是要编码物体，还要编码**传感器的可信度**。 把这条线按年份摊开看会更清楚。2021 年 CLIP 让机器"看得懂"语言，2023 年 VLMaps 和 LERF 让地图"问得动"，2025 年 DualMap 让地图"跑在线"，CrossMaps 想补的是最后一步——让地图**知道自己有多可信**。 ## 研究主线：从问题到结论  **图 8：研究主线（Mermaid 流程图）。噪声观测全量融进单张地图是问题，地图需编码观测可信度是动机，3 类置信度加 STM/LTM 双记忆是设计，置信度加权融合与一致性门控晋升是方法，Jetson Orin 上的在线查询演示是实验，LTM 更稀疏也更可靠是结论。** ## 基准/方法设计 CrossMaps 的输入是时刻 $t$ 的 RGB 图像 $I_t$、深度图 $D_t$ 和 SLAM 估计的位姿 $T_t$，输出是一张自上而下的 3D 栅格语义地图，每个格子存一个语义嵌入和一组统计量。 设计上和"实时"直接相关的取舍有两个。第一个是**瓦片级聚合**：不逐像素算嵌入，而是把每帧按多个空间尺度切成瓦片，每块交给预训练的 CLIP ViT-L/14 编码一次。这样省掉了预分割环节，换来吞吐量和对相机运动的鲁棒性。 第二个是**自上而下融合**：按深度采样像素，反投影到 3D，用位姿变换到全局系，再关联到对应的粗/细瓦片嵌入，得到逐点语义观测并累积进栅格。代价论文自己讲得很直白：一个瓦片里混了多个物体时，嵌入会被污染。  **图 1：CrossMaps 流水线总览（论文 Fig. 1）。RGB-D 观测与 SLAM 视角进入四步流程：嵌入提取 → 用深度与视角把嵌入投影到栅格 → STM 中的置信度感知融合 → STM 到 LTM 的晋升；整条流水线与 SLAM 并行，随巡视器移动持续更新语义地图。** ## 分类全景  **图 9：置信度线索的分类全景（Mermaid 图）。三类线索各自回答一个不同的问题：几何线索看距离与可见性，语义线索看 CLIP 空间的余弦一致性，时序线索管时间衰减。** 这张图是理解全文的钥匙：三类线索各自回答一个不同的问题。几何线索管"这个观测当时看得清不清"，语义线索管"它和其它观测说的一样不一样"，时序线索管"这个格子上次被看到是多久以前"。 ## 方法细节 STM（短期记忆）是一张动态栅格，规则是逢观测必融。每格维护语义累加器 $S_{\mathcal{C}}$ 与置信累加器 $W_{\mathcal{C}}$，新观测 $i$ 先算出置信度 $c_i$，再按 $S_{\mathcal{C}} \leftarrow S_{\mathcal{C}} + c_i\mathbf{e}_i$ 累加，同时 $W_{\mathcal{C}} \leftarrow \lambda W_{\mathcal{C}} + c_i$，其中 $\lambda$ 是时序衰减因子。 关键在归一化那一步：格嵌入写成 $\mathbf{e}_{\mathcal{C}} = S_{\mathcal{C}} / \lVert S_{\mathcal{C}} \rVert$，置信度就出现在被加数与归一化分母里。于是"可信的观测说话更响"不是后处理，而是数据结构本身的性质。 LTM（长期记忆）走的是另一套规则，必须同时过三道门才准写入。阈值 $\tau_c$ 管累计置信度，低置信的噪声和瞬时误检留在 STM 被时间衰减抑制。一致性 $\mathrm{coh}_{\mathcal{C}} = \lVert \frac{1}{n}\sum \mathbf{e}_i \rVert$ 管语义一致，它在嵌入空间里其实是一个**角方差估计**：方向对齐时接近 1，互相冲突时相互抵消趋近 0，超过阈值 $\tau_h$ 才算一致。 视角多样性则把巡视器到格子的相对角度离散成"视角桶"存成位掩码（论文举的例子是 $00011011$），被多个方向看过的格子更可靠。查询阶段用相似度 $\mathrm{cos}(\mathbf{e}_q, \mathbf{e}_{\mathcal{C}})$ 匹配文本与格子，热力图是 $H_{\mathcal{C}} = s_{\mathcal{C}} \cdot \mathrm{coh}_{\mathcal{C}}$。 这里一致性和置信度的分工值得记一笔：一致性调制热力图，置信度额外影响 top-1 单元格的排序——所以低置信但语义一致的区域不会被直接抹掉。  **图 2：瓦片级多尺度嵌入（论文 Fig. 2a）。同一帧被切成粗尺度瓦片（绿色）与细尺度瓦片（粉色），每块各自编码成 CLIP 嵌入；查询时一个点观测会同时关联到它所在的粗、细瓦片嵌入上。**  **图 3：逐格置信度语义地图（论文 Fig. 2b）。置信度在点级与格级两级上用几何、语义、时序线索算出，并作为融合权重写进栅格——地图因此能显示"哪里有把握、哪里没把握"。**  **图 4：STM 单元格融合（论文 Fig. 2c）。每格用置信度加权累加嵌入 $S_{\mathcal{C}}$ 与置信度 $W_{\mathcal{C}}$ 并做归一化，同时更新视角覆盖与语义一致性统计量，为后续晋升判定提供依据。** ## 实验设计与结果 平台是 Waveshare UGV 巡视器加 RGB-D 相机和 NVIDIA Jetson Orin，全局定位交给 RTAB-Map。CrossMaps 自己实现成 ROS 2 模块，订阅 RGB、深度、相机标定和位姿这些标准话题，内部在**里程计坐标系**维护语义表示，发布时才经 TF 转到全局地图坐标系——这样回环闭合之类的 SLAM 修正不会撕裂已积累的语义观测。 评测协议这块必须说清楚：这是一篇 workshop 级别的概念验证论文，没有定量基准、没有对照实验、没有重复试验统计（**摘要未给数值**）。论文提供的证据是实时运行、两个自然语言查询演示，以及公开的复现包和演示视频。 论文给的最实质的"结果"是一张定性对照表，比较的是各家系统的能力维度而不是分数。 | 系统 | 在线 | 置信度 | 环境 | 记忆 | |---|---|---|---|---| | VLMaps | 部分 | 无 | 静态 | 单地图 | | OpenScene | 否 | 无 | 静态 | 离线重建 | | LERF | 否 | 无 | 静态 | 神经场 | | FindAnything | 是 | 部分 | 部分 | 物体子图 | | DualMap | 是 | 部分 | 动态 | 双表征 | | **CrossMaps** | **是** | **是** | **动态** | **STM+LTM** | 在这张表里，同时给"置信度"与"双记忆"打勾的只有 CrossMaps。作者也顺势承认，论文相关工作节的原始对照表还包含 Open-Fusion 与 OVO 两个系统，本文为版面做了省略。  **图 5：实验环境与平台（论文 Fig. 3a）。巡视器在室内房间里用 RGB-D 观测连续建图；CrossMaps 与 RTAB-Map 同机运行，语义地图在里程计坐标系维护、发布时经 TF 转到全局系，从而对回环闭合等 SLAM 修正保持稳定。**  **图 6：查询 "plant" 的 STM 语义热力图（论文 Fig. 3b）。STM 聚合近期观测，热力图显示与查询语义匹配的区域；置信度感知的更新与一致性检验用来抑制不一致的观测。**  **图 7：查询 "hammer" 的 LTM 热力图（论文 Fig. 3c）。与 STM 相比，LTM 的输出更稀疏、更可靠：只有累积置信度、语义一致性与视角多样性都达标的格才会被长期保留，因此噪声被挡在长期地图之外。** ## 结果对比总结  **图 10：结果对比总结（Mermaid 流程图）。STM 逢观测必融所以噪声多但适应快，3 道晋升门（置信度、一致性、视角）筛出稀疏但可靠的 LTM 长期地标，查询热力图再按一致性加权。** ## 关键发现 - 地图第一次把"可信度"当一等公民：几何、语义、时序 3 类置信度全部直接进融合权重与归一化分母，而不是等建完图再做一次过滤。 - 双记忆不是两个数据库，而是 2 条不同的写入规则：STM 逢观测必融并按 $\lambda$ 衰减，LTM 必须过 3 道门（$\tau_c$、$\tau_h$、视角多样性）。 - 论文最直接的实验陈述是查询 "hammer" 时 **STM 噪声较多、LTM 更稀疏也更可靠**。机制上说得通：LTM 天生排除偶发与互相矛盾的观测。 - 一致性这个量被用在了两处：热力图加权和晋升判定，一个量同时服务可视化与长期地图质量。 - 工程上能落地：ROS 2 模块 + 里程计坐标系内部表示 + Jetson Orin 板载实时 + 与 RTAB-Map 同机并行，代码与复现包在 `github.com/jniklasklein/crossmaps`。 - 证据强度是最大短板：没有成功率、时延、精度或消融数字，"更可靠"目前只是定性判断。 ## 局限性 - **只有概念验证**：没有基准、没有对照实验、没有重复试验统计，所有结论都是定性的。 - **瓦片级嵌入的固有代价**：一个瓦片里混有多个物体时嵌入会被污染；论文以精度换吞吐，只给出过滤这类噪声的原则，没有量化精度损失。 - **置信度模型是启发式的**：几何、语义、时序 3 类线索都是手工设计的函数，没有任何不确定性标定；阈值 $\tau_c$、$\tau_h$ 与衰减因子 $\lambda$ 需要人工设定。 - **长期地图的慢漂移**：LTM 只允许高置信观测替换旧条目，光照、季节或家具缓慢变化时旧地标可能长期存活，论文没有讨论这个失效模式。 - **规模与多机**：论文把跨智能体的知识共享列为研究问题之一，但本文没有给出多机实验。 - **问题链没闭合**：引言列了 3 条研究问题（表示、清洗与排序、多机共享），结论段只提未来方向，没有逐条回答。 - **术语滑移**：摘要与引言里 "transfer of perception knowledge" 指向两种不同含义（跨轴研究 vs 多机共享），正文未澄清。 ## 常见问题（FAQ） ### 这篇论文有跑分或消融数据吗？ 没有。它是 workshop 级别的概念验证：没有基准、没有对照实验、没有重复试验统计，摘要也没给数值。提供的证据是 Jetson Orin 上的实时运行、两个自然语言查询演示，以及公开的复现包。 ### 我想复现，需要什么硬件和软件？ 论文里的配置是 Waveshare UGV 巡视器 + RGB-D 相机 + NVIDIA Jetson Orin，定位用 RTAB-Map，CrossMaps 本身实现为 ROS 2 模块并订阅 RGB、深度、标定与位姿这些标准话题。代码和复现包公开在 `jniklasklein/crossmaps`，里面还带了一份预存的语义地图状态，只装了 ROS 2 和 RViz2 也能先把地图打开看看。 ### 它和 DualMap 的区别到底在哪？ DualMap 已经在做在线双表征建图与动态环境，CrossMaps 与它最像。差别在"不确定性"进入地图的方式：DualMap 把两套表征并行维护，CrossMaps 让**置信度与一致性**共同决定谁参与融合、谁能晋升成长期地标。 ### 瓦片级 CLIP 嵌入会不会比逐像素更不准？ 会更粗。论文承认瓦片内混有多个物体时嵌入会被污染，用空间精度换吞吐与对相机运动的鲁棒性，未来打算换成 SAM 一类分割式特征提取。论文没有量化这个精度损失。 ### 接到自己的导航栈上，最该先改什么？ 先动阈值。栅格分辨率、STM 衰减率、置信度阈值、STM 到 LTM 的晋升规则都是暴露出来的配置项，但 $\tau_c$、$\tau_h$、$\lambda$ 全是人工设定且没有标定，换相机或换平台时这三个数需要重新调。 复现包里的默认值是现成的起点：`promote_min_conf=0.55`、`promote_min_coh01=0.40`、`promote_min_views=2`、`view_bins=8`、`resolution=0.10`。也就是说晋升需要累计置信度 0.55、一致性 0.40，并且至少 2 个视角桶看过。 ### 它适合什么场景，不适合什么？ 适合部分可观测、传感器噪声大的巡视器场景：观测密度不均、测距不可靠、需要在线更新。不适合需要定量精度保证的安全关键闭环，因为置信度没有经过标定，"更可靠"只是定性判断。 ## 参考链接 - 论文 arXiv 摘要页：[arXiv:2606.16935](https://arxiv.org/abs/2606.16935) - 复现包与代码（ROS 2 节点 + 预存地图状态 + RViz 配置）：[github.com/jniklasklein/crossmaps](https://github.com/jniklasklein/crossmaps) - 直接前身 VLMaps（语言可查栅格地图）：[Visual Language Maps for Robot Navigation, ICRA 2023](https://arxiv.org/abs/2210.05714) - 最相关的在线双表征建图工作 DualMap：[arXiv:2408.08429](https://arxiv.org/abs/2408.08429) - 语义嵌入底座 CLIP：[Learning Transferable Visual Models From Natural Language Supervision, ICML 2021](https://arxiv.org/abs/2103.00020) - 语言嵌入辐射场 LERF：[LERF, ICCV 2023](https://arxiv.org/abs/2303.09553) --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）