g3D-LF：面向具身任务的可泛化三维—语言特征场

一句话总结： g3D-LF 把智能体的历史 RGB-D 观测写成可在线更新的三维语义记忆，再用分层对比学习让射线、视图、全景和 BEV 分别对齐对象词、短文本与长文本，使单目智能体也能查询未朝向区域并改善导航规划。

项目	信息
论文	g3D-LF: Generalizable 3D-Language Feature Fields for Embodied Tasks
作者	Zihan Wang, Gim Hee Lee（NUS）
版本	arXiv:2411.17030v1，2024-11-26
原文	https://arxiv.org/html/2411.17030v1
代码	https://github.com/MrZihan/g3D-LF

摘要忠实翻译

本文提出 Generalizable 3D-Language Feature Fields（g3D-LF），一种在大规模三维—语言数据集上预训练、面向具身任务的三维表征模型。g3D-LF 处理智能体采集的带位姿 RGB-D 图像，能够：从三维场景任意位置预测新视角表征；生成以智能体为中心的 BEV 地图；在这些表征中用多粒度语言查询目标。该表征可泛化到未见环境，支持实时构建与动态更新。模型沿采样射线对潜在特征进行体渲染，并通过多尺度编码器整合语义与空间关系；多层级对比学习进一步让不同尺度、视角的表征与多粒度语言对齐。作者还整理了大规模三维—语言数据集。全景与单目视觉—语言导航、零样本目标导航和情境问答实验显示了 g3D-LF 的显著优势。

1. 问题动机：二维语义很强，三维语言记忆仍然很弱

具身智能体需要在陌生大场景中一边移动、一边建图、一边理解指令。理想表征至少要满足三点：泛化到未见场景；能随新观测实时构建和更新；处在开放词汇语义空间。

完整点云方法通常需要干净、密集且事先采集好的几何；每场景优化的 NeRF 难以快速迁移。可泛化三维特征场比较适合在线智能体：它将二维视觉特征连同深度投影进三维空间，并能从任意虚拟视角重新读取。但已有方法主要蒸馏 CLIP、DINOv2 等二维视觉模型，存在三个断点：二维监督不擅长三维空间关系；缺少直接语言监督；把全景或 BEV 这种大尺度表征压成单向量后，很难理解长文本中的对象关系和布局。

💡 讲解补充：论文并不追求照片级新视图合成。它预测的是供导航、定位和查询使用的潜特征，因此“语义是否可用”比“图像是否逼真”更重要。

图 1：g3D-LF 从带位姿 RGB-D 观测建立特征场，并输出新视角、全景和 BEV 表征，供 VLN、目标导航及问答使用。

2. 数据：让不同空间尺度都有语言可学

作者整合 ScanNet、HM3D 和 Structured3D，得到约 5,000 个室内场景、近 100 万条多粒度文本。语言主要来自 SceneVerse，也包含人工对象指代表达，覆盖对象类别、属性、对象间关系和全场景布局。

每个场景提供两类信息：带位姿 RGB-D 帧，用于建立特征场；带实例 ID 的实例级点云，用于把空间区域关联到数据库中的文本。训练时可以先确定一条射线或 BEV 区域落在哪个实例附近，再取回对应语言监督。这里的点云是训练期标注桥梁；下游推理只需智能体的 RGB-D 图像。

图 9：训练数据示例；实例级点云标注对象类别，部分实例带更丰富的语言描述。

3. 方法：把观测写入三维，再从射线读出语义

3.1 在线特征场

第 $t$ 帧 RGB 图像经 CLIP 图像编码器得到 $I$ 个 768 维 patch 特征 ${\mathbf{g}}_{t,i}$。借助深度图、内外参，每个特征被投影到世界坐标 $P_{t,i}$；模型还记录该区域的水平朝向 ${\theta }_{t,i}$ 与尺度 $s_{t,i}$：

$${\mathcal{M}}_t={\mathcal{M}}_{t-1}\cup \{[{\mathbf{g}}_{t,i},P_{t,i},{\theta }_{t,i},s_{t,i}]{\}}_{i=1}^I.$$

${\mathcal{M}}_t$ 是截至当前时刻积累的特征点集合。新观测通过集合并入，因而无需为每个场景重新优化网络。

💡 讲解补充：$P$ 告诉模型“在哪里”，$\theta$ 告诉它“从哪边看到”，$s$ 提供区域尺度；三者让相似视觉 patch 在空间上不再混为一谈。

3.2 体渲染：新视角与全景

对于虚拟相机的每条射线，模型采样 $N$ 个点。每个点搜索特征场中的 $k$ 近邻，经 ${\mathrm{MLP}}_{view}$ 聚合相对位置、方向和语义，预测密度 ${\sigma }_n$ 与潜特征 ${\mathbf{r}}_n$。区域特征为：

$${\mathbf{R}}_{(u,v)}=\sum _{n=1}^N{\tau }_n(1-e^{-{\sigma }_n{\Delta }_n}){\mathbf{r}}_n,{\tau }_n=e^{-{\sum }_{i=1}^{n-1}{\sigma }_i{\Delta }_i}.$$

${\Delta }_n$ 是采样间距；${\tau }_n$ 是到第 $n$ 点前仍未被遮挡的透射率；$1-e^{-{\sigma }_n{\Delta }_n}$ 是当前区间命中表面的概率。两者相乘形成可见性权重。

每个新视角形成 $\mathbf{R}\in {\mathbb{R}}^{12\times 12\times 768}$。View Encoder 用 Transformer 融合区域 token 和可学习 view token，输出区域上下文与整幅视图表示。模型围绕观察点每 30° 渲染一个方向，共 12 个新视角，再由 Panorama Encoder 建模跨视图关系。

3.3 鸟瞰图：把射线转向地面

BEV 的射线从接近天花板处垂直向下，避免起点被天花板遮挡。${\mathrm{MLP}}_{BEV}$ 独立预测密度与语义，渲染以智能体为中心的 $16.8\text{m}\times 16.8\text{m}$ 区域。原始 BEV 为 $168\times 168\times 768$，经 $7\times 7$ 非重叠卷积降为 $24\times 24\times 768$，再由 BEV Encoder 建模远距离区域关系。

*图 2：完整架构。历史观测写入特征点；射线聚合近邻特征；View、Panorama、BEV 编码器产生多尺度表征；右侧施加多层级语言监督。

*图 6：视图 MLP、BEV MLP 及多尺度编码器的具体模块。

4. 多层级对比学习：语言粒度要匹配空间粒度

4.1 平衡对象级对齐

模型以 1,883 个室内对象类别的文本嵌入作为词表。对渲染得到的射线特征 $\mathbf{R}$，计算其与全部类别的余弦相似度并做分类：

Lobject=CrossEntropy⁡({CosSim⁡(R,Oi)/τ}i=11883,Ogt). \mathcal L_{object}=\operatorname{CrossEntropy}\left( \{\operatorname{CosSim}(\mathbf R,\mathcal O_i)/\tau\}_{i=1}^{1883}, \mathcal O^{gt}\right). Lobject​=CrossEntropy({CosSim(R,Oi​)/τ}i=11883​,Ogt).

$\tau$ 是温度系数。室内对象呈长尾分布，作者根据识别难度动态增大罕见或小物体的损失权重；不平衡版本会明显损害 ObjectNav。

4.2 长文本的细粒度对齐

作者取实例周围 $5\times 5$ 个 BEV token，与 CLIP 文本编码器输出的 $L$ 个词 token 构成亲和矩阵：

$$A_{i,l}=\mathrm{CosSim}({\hat{\mathbf{R}}}_i^{\prime },{\mathbf{W}}_l)/\tau .$$

从矩阵中取最高的 $L$ 个匹配并平均：

$$\mathrm{FineSim}(\mathbf{B},\mathbf{T})=\mathrm{Avg}(\mathrm{TopK}(\mathbf{A},L)).$$

随后在 batch 内做图文双向对比。全景的 12 个 view token 也采用同样机制。

💡 讲解补充：这是一种弱监督的“多词—多区域”匹配。它允许“椅子、桌旁、窗边”等词落到不同空间 token，而不必把整句压成一个 [SEP] 向量；但 Top-K 并不显式保证语法关系或一一对应。

4.3 CLIP 知识蒸馏

三维—语言数据约百万级，仍远小于二维图文预训练的十亿级数据。作者因此用真实新视角图像的 CLIP 特征监督预测视图、全景及 BEV 区域，保留视觉泛化能力。实验表明只做语言监督或只做 CLIP 蒸馏都不够；前者损失开放世界泛化，后者缺少三维语言与空间关

系。

图 7：平衡对象语义对齐与 CLIP 蒸馏损失的 PyTorch 实现。

**图 8：长文本细粒度对比损失的实现。

**

5. 下游任务如何使用 g3D-LF

5.1 单目与全景 VLN

单目设置基于 VLN-3DFF：语义地图提出候选航点，g3D-LF 预测候选方向的新视角表征，并把 BEV 输入跨模态图编码器。全景设置沿用 HNR：先预测航点，再用 g3D-LF 的全景表征规划。

**图 3：单目 VLN 接入框架。

**

5.2 零样本目标导航

基于 VLFM，但不再用 BLIP-2 逐帧构建价值图。g3D-LF 从历史观测渲染 12 个方向的新视角，与目标词计算相似度得到局部价值图；目标词与 BEV 各区域相似度形成全局价值图。二者结合选择下一航点。

**图 4：零样本 ObjectNav；新视角负责近程选择，BEV 负责大范围方向。

**

5.3 情境问答

系统先由 Localization Decoder 在 BEV 上预测文本所指位置，再在该位置渲染全景，由 Orientation Decoder 预测朝向，最后把描述、问题、BEV 与全景交给 Answer Decoder。

**图 5：SQA3D 的位置—朝向—答案三级框架。

**

6. 实验：关键数字与解释

预训练共 50K episode，在两张 RTX 6000 Ada 上约 10 天；仅使用各数据集训练划分。ScanNet 每场景均匀采 30 帧建场，另随机取一帧作预测目标；Structured3D 因每场景图像少于 20 张而全部使用；HM3D 用 Habitat 随机采导航轨迹。

任务/设置	关键结果	解读
单目 VLN，Val Unseen	NE 5.70 / SR 47.2 / SPL 34.6	相比 VLN-3DFF：SR +2.3，SPL +4.2
单目 VLN，Test Unseen	NE 6.00 / SR 46.3 / SPL 32.2	相比 VLN-3DFF：SR +2.6，SPL +3.3
全景 VLN，Test Unseen	NE 4.78 / SR 58 / SPL 51	SPL 为表中最佳，增益小于单目
ObjectNav，HM3D	SR 55.6 / SPL 31.8	对 VLFM：SR +3.1，SPL +1.4
ObjectNav，MP3D	SR 39.0 / SPL 18.8	对词表外目标仍有泛化
SQA3D	0.5m 23.4 / 1m 45.7 / EM@1 47.7	定位强，回答弱于 LLM 方法

全景输入本来已有 12 个方向，因此 g3D-LF 的额外收益不如单目显著。这一现象支持论文的机制解释：最大价值来自补足不可见方向并提供 BEV 全局上下文，而非单纯增加参数。

6.1 消融告诉我们的因果关系

• 无 g3D-LF 时，单目 VLN SR/SPL 只有 33.1/23.4；同时使用新视角与 BEV 后为 47.2/34.6。
• 只用新视角时 VLN 已达 46.9/32.7，说明补全周向视野是主要来源；加入 BEV 再改善全局空间规划。
• ObjectNav 只用 BEV 降到 50.2/27.1；新视角与 BEV 合用为 55.6/31.8。远处目标需全局价值图，临近航点仍需局部视图判断。
• 无预训练时 ObjectNav SR/SPL 为 34.2/13.9；完整预训练为 55.6/31.8，证明下游导航损失无法替代三维—语言预训练。
• 不平衡对象损失使 ObjectNav SR 从 55.6 降至 51.7；粗粒度长文本使单目 VLN SR 从 47.2 降至 45.7。

6.2 速度

在 RTX 4090 上，单视图体渲染 73.6 FPS，加入 View Encoder 后 71.1 FPS；12 视图全景为 5.9 FPS；BEV 渲染及编码后为 6.3/6.1 FPS。作者沿用 HNR 的稀疏采样：仅渲染附近存在特征点的区域、跳过空区，使渲染加速超过 10 倍。

7. 查询结果可视化

**图 10：在 BEV 射线上按对象词查询。每组左侧为真值、右侧为预测。

**

图 11：长文本查询。每组从左到右为对象真值、长文本真值与查询结果。

这些图说明语言已经能在地图上形成空间响应，但它们主要是定性证据；论文没有系统报告开放词汇定位、关系理解或文本组合泛化的独立指标，因此不能仅凭热图断言模型获得了完整三维关系推理能

力。

8. 局限与后续问题

1. 静态世界假设。 当前特征集合只追加，不会识别过期观测；人员和物体移动会留下冲突记忆。需要时间戳、动态/静态分解、置信度衰减或显式删除机制。
2. 任务仍偏静态。 尚未验证操作、交互、移动目标追踪等需要动作后状态更新的任务。
3. 数据天花板。 近百万描述对三维领域已很大，但相较二维图文语料仍有限，且 LLM 自动生成描述可能携带偏差或模板化关系。
4. 语言推理有限。 SQA3D 的 EM@1 为 47.7%，明显低于 LEO 52.4 与 Scene-LLM 54.2；表征可定位不等于能生成或推理答案。
5. 几何精度未单独度量。 论文强调语义下游收益，但没有充分隔离深度噪声、位姿误差、遮挡和跨帧冲突的影响。

值得继续追问：能否把场景记忆扩展为 $4D$ 时空特征场？能否用图结构或最优传输替代 Top-K，从而显式约束“词—对象—关系”？与 LLM 结合时，如何避免把全部高维 BEV token 直接塞入上下文造成成本爆炸？

9. 与相邻工作的关系

• HNR / VLN-3DFF： 提供可泛化特征场和航点表征基础；g3D-LF 的增量是三维—语言数据、BEV 分支和多层级对比预训练。
• LERF 类语言场： 同样让三维空间可被语言查询，但通常针对单场景优化；g3D-LF 更强调跨未见场景、实时写入和具身任务。
• VLFM： 用通用 VLM 逐帧构建 ObjectNav 价值图；g3D-LF 用持续的三维记忆替代孤立二维判断。
• SceneVerse / Scene-LLM / LEO： 更侧重完整点云或 LLM 推理；g3D-LF 则以 RGB-D 在线表征与低延迟查询见长。

最值得记住的结论

g3D-LF 最值得记住的不是某个榜单数字，而是一条可迁移的设计原则：三维表征有空间尺度，语言也有语义粒度；让对象词监督局部射线、让视图语言监督视角、让长文本监督全景与 BEV，语言才真正进入在线三维记忆。 它已经证明这种记忆能改善单目导航和零样本搜索；下一步的关键，是让记忆会随时间更新、让关系对齐更可验证，并接上真正能推理和生成的模型。