0. 简介

GeoMem-VLA 研究机器人操作中的一个具体问题:物体被遮挡、机械臂改变视角之后,先前看到的空间关系还能怎样参与下一次动作预测。它用冻结的三维视觉模型监督 GeoPlan token,让这些紧凑表示同时学习场景结构和任务相关运动,再通过因果记忆保存、检索历史线索。论文报告 LIBERO 平均成功率为 98.9%,RoboTwin 2.0 为 91.17%,五项实机任务平均为 78%。官方代码在Github上。

1. 遮挡之后,当前图像缺少了什么

1.1 看见苹果与记住苹果是两个问题

机器人先看见桌上的苹果,随后拿起毛巾把它盖住,最后需要揭开毛巾并抓住苹果。第一帧可以提供苹果的位置、毛巾的位置以及两者的相对关系;盖好毛巾之后,当前图像中的苹果像素消失了。如果策略没有可用的历史表示,它就只能从覆盖后的外观重新推断目标。这里的关键是,任务所需的信息曾经出现过,只是在后续某些时刻无法重新观测。这个问题包含视觉理解,也包含跨时间的信息保存。

图 1:遮挡任务的动机示意

图 1:用于说明遮挡动机;这是任务示意,实机证据见后文。

这类困难也出现在没有完全遮挡的任务里。机器人跨架传杯,需要知道杯子已经交到哪只手;重复抓取方块,需要判断已经完成了多少轮;堆叠积木,需要区分初始布局和当前进度。不同时间的画面可能看起来很像,却对应不同的下一步动作。 因而,扩大单帧模型并不能自动解决历史缺失:模型需要接收到过去的信息,还需要学会判断哪些过去的信息与当前决策有关。

1.2 三维理解与时序记忆分别补哪一块

**视觉语言动作模型(Vision-Language-Action,VLA)**通常接收图像、语言指令和机器人状态,输出控制量。图像擅长保留物体外观,语言负责描述目标,状态提供关节或末端执行器的当前位置。三维监督进一步约束物体、桌面与机械臂之间的空间结构;时序记忆则把过去的表示送回当前决策。GeoMem-VLA 关心的是二者的结合:保存下来的历史内容,能否包含对动作有用的几何信息,而不只是场景外观。

核心问题在于,保存历史的方式会决定模型以后还能用什么信息。 如果每次只缓存一个偏向物体类别的特征,历史检索未必能恢复操作所需的空间关系;如果一直保存完整点云,又会增加处理和存储负担。论文选择让一小组 token 学习可解码的空间与运动信息,再把这组表示写入记忆。这为几何监督增加了一个用途:它塑造的不只是当前帧的特征,也是在塑造未来决策能够访问的历史内容。

2. 整体框架:训练几何表示,执行时读取历史

2.1 输入、输出与三条表示流

GeoMem-VLA 使用 Qwen3-VL-4B 作为视觉语言主干,在 StarVLA 框架内接入 GR00T 风格的流匹配动作专家。每次决策输入多视角 RGB 图像、任务指令和本体状态,输出一个动作块(action chunk),即连续若干步的控制量。这里的“块”描述预测范围,并不要求把所有动作一次性执行到底;执行端可以只使用其中一部分,再读取新观测重新预测。LIBERO 与 RoboTwin 的机器人和控制接口不同,动作维度及预测长度也随之改变。[^code]

A ^ t = π θ ( o t , s t , ℓ , M < t ) ∈ R H × d a . \widehat{\mathbf A}_{t} =\pi_{\theta}(\mathbf o_t,\mathbf s_t,\ell,\mathcal M_{<t}) \in\mathbb R^{H\times d_a}. A t​=πθ​(ot​,st​,ℓ,M<t​)∈RH×da​.

其中, t t t 是机器人决策时刻, o t \mathbf o_t ot​ 表示当前图像, s t \mathbf s_t st​ 是本体状态, ℓ \ell ℓ 是指令, M < t \mathcal M_{<t} M<t​ 是本次任务中早于当前时刻的记忆; H H H 表示预测的动作步数, d a d_a da​ 表示每步动作的维度。主干产生两类观测表示:固定数量的视觉 token,以及最后一个非填充位置的主干隐藏状态。前者保留视觉内容,后者汇总多模态上下文;再加上 GeoPlan,就形成三条独立维护历史的表示流。

表示流保存的内容公开版中的典型形状,省略 batch 维
视觉观测 obs1经重采样后的视觉表示64 个 token,每个 2560 维
上下文观测 obs2最后一个非填充位置的 VLM 隐藏状态1 个 token,2560 维
几何表示 geo经辅助任务训练的 GeoPlan 表示16 个 token,每个 512 维

2.2 训练与推理使用不同的计算路径

训练阶段多出一位几何教师和一个辅助预测头:冻结的 VGGT 提供场景点图,示范数据提供未来末端运动,辅助头根据 GeoPlan 表示学习这些目标,动作专家同时学习示范动作。执行阶段保留主干、三路记忆、几何融合和动作专家,不需要调用 VGGT,也不需要先解码点图再生成动作。 这意味着三维监督的成本主要发生在训练期间,部署时使用的是受到这种监督影响的潜在表示。

图 2:GeoMem-VLA 的整体架构

图 2:改编自论文 Figure 2;上方标记图标替换为中性方块。右侧虚线区域只用于训练。

读图时应沿两条路径理解。左侧的图像与指令进入主干,观测表示和几何表示经过记忆后共同服务于动作;右侧的场景重建与末端轨迹预测则负责给几何表示施加训练约束。图中的事件记忆是模块概览,具体到本文核对的公开默认配置,记忆采用“每帧写入、超出容量后合并相似相邻项”的方式。仓库另有可选的事件写入门控实现,不能仅凭架构图就把该变体当成论文默认设置。

概念图 1:训练与部署的计算路径对照(在线配图)

3. GeoPlan token:给几何信息一个明确的承载位置

3.1 token 怎样获得几何含义

GeoPlan token可以理解为放在图文序列末尾的一组读出位置。它们与图像、语言一起通过主干,最终隐藏状态被单独取出,再投影到较小的几何工作空间。token 的几何含义来自后续训练目标:辅助头必须根据它们预测场景点图与未来末端轨迹,动作损失也会影响相关表示。因此,不能看到名称中的“Plan”就把它当成显式运动规划器;它首先是一组受到几何与运动监督的潜在特征。

z t = VLM ⁡ ( [ o t ; ℓ ; q 1 : K ] ) G e o P l a n , c t = Proj ⁡ ( z t ) ∈ R K × D g . \mathbf z_t =\operatorname{VLM}([\mathbf o_t;\ell;\mathbf q_{1:K}])_{\mathrm{GeoPlan}}, \qquad \mathbf c_t=\operatorname{Proj}(\mathbf z_t) \in\mathbb R^{K\times D_g}. zt​=VLM([ot​;ℓ;q1:K​])GeoPlan​,ct​=Proj(zt​)∈RK×Dg​.

其中, q 1 : K \mathbf q_{1:K} q1:K​ 是 K K K 个输入标记位置, z t \mathbf z_t zt​ 是对应的主干输出, Proj ⁡ \operatorname{Proj} Proj 由层归一化和线性映射组成, D g D_g Dg​ 是几何工作维度。公开默认配置使用 K = 16 K=16 K=16、 D g = 512 D_g=512 Dg​=512。论文用可学习标记的抽象描述这一接口,当前源码则复用已有的单 token 标记,主要通过序列位置和后续训练形成不同输出。它不等于新增 16 个互相独立的词表项,也没有为每个 token 预先指定“苹果位置”之类的固定含义。[^framework]

3.2 从主干隐藏状态取出几何表示

下面的代码来自 _encode_and_extract,展示几何表示真正进入后续模块之前的最后一步。_gather_special_tokens 根据输入中的标记位置,取出恰好指定数量的隐藏状态;geo_inseq.project 完成维度映射。源代码还会检查每个样本的标记数量,防止指令中意外出现相同标记而污染结果。这里的关键是,几何分支有清晰的读出接口,几何辅助目标无需直接把所有原生视觉 token 对齐到教师特征空间。

# starVLA/model/framework/VLM4A/QwenGeoGR00T.py
geo_hidden = self._gather_special_tokens(
    last_hidden, input_ids, self.geo_token_id, self.geo_num_queries
).float()
geo_cond = self.geo_inseq.project(geo_hidden).float()

这种单独读出的设计给训练增加了分工,却没有把主干分成彼此隔离的网络。几何损失仍可沿这些隐藏状态反向传播到共享参数,视觉表示也可能随之改变。因此,准确说法是“没有直接要求原生视觉特征匹配教师特征”,而不能说“视觉主干完全不受几何训练影响”。当前帧的 geo_cond 一路用于几何辅助任务,另一路进入几何记忆,连接了表示学习与后续时刻的历史检索。

直觉理解:可以把这些位置想成阅读现场记录后填写的几张摘要卡。训练要求卡片能够支持恢复场景结构和相关运动,模型才会学着把有用的信息写进去。卡片数量有限,内容可以变化;它们既不是固定的物体清单,也不是一张已经完成的三维地图。

4. 两类监督:场景是什么样,机械臂将怎样运动

4.1 VGGT 提供场景几何的伪目标

点图(point map) 给图像中的像素或网格位置赋予三维坐标,用来描述可见表面的空间结构。VGGT 的官方说明表明,它可从 RGB 图像预测相机参数、深度、点图及点轨迹;GeoMem-VLA 的教师封装主要启用点图头,并把结果汇聚到较粗网格。公开配置采用 16 × 16 16\times16 16×16 网格,即 256 个三维点,同时利用教师置信度给场景损失加权。这里使用的是教师预测的伪目标,其质量依赖教师,并不等同于传感器测得的真实几何。

选择点图监督,可以把“杯子在这里”进一步落实为一组空间坐标约束,也不要求每条机器人示范都额外标注三维场景。代价是教师的偏差会进入训练,粗网格也会丢掉细小结构。公开代码还对点图做居中和尺度归一化,使形状监督不被不同场景的整体尺度主导。换句话说,这一分支更适合被理解为学习空间结构的训练约束,不能仅凭重建图像相似,就认定策略已经具备精确的公制测量能力。

4.2 未来末端轨迹把几何学习拉向任务

**末端执行器(End-Effector,EEF)**是机械臂与物体交互的末端,例如夹爪。未来 EEF 轨迹给出示范中接下来若干步的笛卡尔位置,可以让表示关注与操作有关的运动。只重建场景,模型可能优先描述大面积桌面;加入末端监督,学习目标便同时包含接近把手、抬起物体等运动线索。论文把当前点图与未来末端轨迹拼成一个三维目标序列,辅助头通过不同模态标识区分两段内容。

Y t = [ P t ; W t ] ∈ R ( P 2 + n e ) × 3 . \mathbf Y_t=[\mathbf P_t;\mathbf W_t] \in\mathbb R^{(P^2+n_e)\times3}. Yt​=[Pt​;Wt​]∈R(P2+ne​)×3.

其中, P t \mathbf P_t Pt​ 是汇聚后的场景点图, P P P 是网格边长, W t \mathbf W_t Wt​ 是未来末端位置序列, n e n_e ne​ 是所有机械臂贡献的轨迹点总数。例如双臂各预测 50 步时,末端段包含 100 个点。末端段只描述位置,完整动作还可能包含朝向、关节和夹爪状态,仍由动作专家学习。辅助轨迹不直接替代控制指令;它的作用是迫使 GeoPlan 保留对任务运动有用的信息,而不是建立一套独立的轨迹执行器。

在这里插入图片描述

5. 流匹配怎样训练几何表示

5.1 学习从噪声走向三维目标的方向

流匹配(flow matching) 训练一个条件速度场,把随机噪声逐渐变成目标样本。对于几何分支,目标就是前面拼好的三维序列。训练先采样一个与目标同形状的高斯噪声,再随机选择噪声与真实目标之间的插值位置,要求网络预测从噪声指向目标的方向。这里的“速度”位于数据空间,不能直接当作机械臂的物理移动速度;几何头的输入输出都是三维序列张量,主要用途是对 GeoPlan 施加可学习的监督。

Y t , τ = ( 1 − τ ) ϵ + τ Y t , v ⋆ = Y t − ϵ , τ ∼ U [ 0 , 1 ] . \mathbf Y_{t,\tau}=(1-\tau)\boldsymbol\epsilon+\tau\mathbf Y_t, \qquad \mathbf v^\star=\mathbf Y_t-\boldsymbol\epsilon, \qquad \tau\sim\mathcal U[0,1]. Yt,τ​=(1−τ)ϵ+τYt​,v⋆=Yt​−ϵ,τ∼U[0,1].

其中, ϵ \boldsymbol\epsilon ϵ 是随机噪声, τ \tau τ 是从噪声到数据的插值进度, v ⋆ \mathbf v^\star v⋆ 是训练的速度目标。它与机器人执行任务的时刻 t t t 是两个不同概念:机器人可以停留在同一帧,而训练仍可反复采样不同的 τ \tau τ。下面代码直接对应这个过程。网络同时接收带噪目标、插值进度和 GeoPlan 条件,利用预测速度与目标速度的误差训练,而不是直接对 token 向量逐维施加一个几何坐标标签。

# starVLA/model/modules/geoplan/geo_model.py
B = target.shape[0]
noise = torch.randn_like(target)
# Generate t in float32 so bf16 targets don't lose time-step precision.
t = torch.rand(B, device=target.device, dtype=torch.float32)
tb = t.to(dtype=target.dtype)[:, None, None]
noisy = (1 - tb) * noise + tb * target
velocity = target - noise

target_padding_mask = self._build_target_padding_mask(B, future_valid, target.device)
pred = self.net(
    noisy, t, cond_tokens,
    target_padding_mask=target_padding_mask,
    cond_padding_mask=cond_padding_mask,
)
# Compute the loss in float32 for stable 3D-coord regression at small errors.
se = (pred.float() - velocity.float()).square()

训练时构造带噪目标需要用到示范中的未来信息,这是监督学习的正常目标构造过程;部署时,策略输入中没有这段真实未来。真正应当检查的信息泄漏,是未来动作或未来图像是否被写进了当前可读的记忆。代码中的类型转换也有明确目的:随机插值进度和小误差回归使用较高精度,以免低精度数值影响训练。至于这种辅助目标是否优于直接坐标回归,现有消融没有单独给出答案,不能把流匹配本身的优势也归进总体提升。

难点提示:可以把流匹配想成学习一组导航箭头:从随机起点出发,沿不同位置的箭头逐步走向目标分布。训练给出中途位置和应走的方向,执行采样时才连续沿箭头前进。这里走动的是一个表示完整点图或动作块的张量,不是机器人沿某条箭头直接移动。

5.2 几何损失与动作损失各管什么

几何目标分成场景和末端两段,各自计算误差,再按权重组合;场景段还使用教师置信度降低不可靠位置的影响。动作专家学习的则是机器人真正需要输出的动作块。二者共享上游表示,但预测头、目标和部署用途不同。进一步看,这种安排要求主干同时满足“表示中包含可恢复的空间信息”和“表示能够支持正确动作”两种约束,训练是否平衡取决于损失尺度,而不只是两条分支在结构上是否存在。

L g e o = ∑ m ∈ { s c e n e , e e f } λ m   E τ , ϵ [ ∥ v ϕ ( Y t , τ , τ ; c t ) m − ( Y t − ϵ ) m ∥ w m 2 ] , L = L a c t i o n + α L g e o . \mathcal L_{\mathrm{geo}} =\sum_{m\in\{\mathrm{scene},\mathrm{eef}\}} \lambda_m\, \mathbb E_{\tau,\boldsymbol\epsilon} \left[ \left\|v_\phi(\mathbf Y_{t,\tau},\tau;\mathbf c_t)_m -(\mathbf Y_t-\boldsymbol\epsilon)_m\right\|_{w_m}^{2} \right], \qquad \mathcal L=\mathcal L_{\mathrm{action}}+\alpha\mathcal L_{\mathrm{geo}}. Lgeo​=m∈{scene,eef}∑​λm​Eτ,ϵ​[∥vϕ​(Yt,τ​,τ;ct​)m​−(Yt​−ϵ)m​∥wm​2​],L=Laction​+αLgeo​.

其中, m m m 指定场景段或末端段, λ m \lambda_m λm​ 是模态权重, w m w_m wm​ 表示相应的置信加权, v ϕ v_\phi vϕ​ 是几何预测网络, α \alpha α 控制整个几何辅助损失对总目标的影响。公开 LIBERO 配置中,场景权重为 0.5、末端权重为 3.0、总体几何系数为 0.1。这些数值不能直接解释成末端目标比场景“重要六倍”,因为两段数据的单位、归一化方式和误差量级不同。RoboTwin 基础配置的末端权重为零,也再次说明应以具体 checkpoint 的实际配置为准。

在这里插入图片描述

6. 因果记忆:先读取过去,再写入现在

6.1 三个库独立检索,历史只来自本次任务

模型为视觉观测、上下文观测和几何表示分别维护记忆库。当前 token 充当查询,历史 token 充当键和值,时间戳编码加到键上,帮助模型区分早先和最近的状态;检索结果再通过门控与当前表示融合。记忆属于当前 episode,也就是一次从初始化到结束的任务执行。 它不会自动保存成跨任务共享的场景数据库,任务结束时需要清空。主干参数中的长期知识与任务运行时的短期记忆,是两种不同的东西。

下面的源代码展示因果约束真正生效的位置:先根据 episode 标识取出历史,再过滤掉时间戳不早于当前帧的条目。之后才会把通过过滤的表示送进注意力。默认实现对历史内容不先做硬性的“只取最相似一个条目”,而是在容量受限的历史上做交叉注意力。因此,“检索”在这里主要是可学习的软读取,而不是按物体名字查询一条确定记录;时间过滤和内容选择承担的是不同职责。

# starVLA/model/modules/memory/mem_bank.py
cur_tokens = tokens[i].unsqueeze(0)
hist = self.bank.get(eid, [])
if self.causal_retrieval and timesteps is not None and len(hist) > 0:
    ti = int(timesteps[i])
    hist = [(t, f) for (t, f) in hist if t is not None and int(t) < ti]

同一个训练 batch 里可能放了同一条轨迹的多个时刻,但较早帧仍然只能读取更早的表示。检索输出产生之后,当前表示才会写入,防止它从记忆中“找到自己”。当历史为空时,检索退回当前 token,保证任务第一步也能正常预测。这里的关键是,因果性由样本顺序、时间戳过滤和先读后写共同保证,只给注意力模块起一个“因果记忆”的名字,并不能替代这些数据与状态管理约束。

6.2 停止梯度不会阻止模型学习读取历史

写入记忆时,源码对表示使用 detach().clone(),不让后续步骤的梯度沿存储内容无限回传。这样可以控制跨帧计算图和显存开销,检索网络的查询、键值投影与融合门仍能从当前动作损失中学习。代价是,后面某一步的失败不能通过这条存储路径,直接追溯并修改早先那一帧的编码计算。它是一种有边界的记忆训练方式,不能理解成对整条任务轨迹做完整的反向传播。

工程价值:这像保存已经定稿的现场记录,再训练后来的人学会查阅它。记录本身不会因为后来一次查阅而重新生成,但查阅方式和如何使用记录可以改进。省下的是跨越整段任务的计算图,承担的代价是早先记录的写法不能被后续损失沿该路径直接纠正。

部署中的清空时机同样重要。每次调用都清空,历史便没有机会跨步骤积累;不同任务之间不清空,又会把前一个场景的信息带进下一个场景。当前仓库的 YAML 保留 stateless 设置,而官方策略服务脚本默认通过环境变量启用 streaming,客户端在新 episode 开始时请求重置。有效的记忆行为取决于模型配置与调用协议一起成立,不能仅通过模块已经加载来判断记忆是否真的参与了控制。

在这里插入图片描述

7. 事件记忆怎样形成:跨时间采样与相似性合并

7.1 先让训练历史覆盖足够长的时间

如果每个训练组只包含连续十几帧,机器人可能始终处在同一次接近或抓取动作里,记忆检索就很少遇到跨阶段的信息依赖。GeoMem-VLA 在同一 episode 中采样时间间隔较大的观测,然后按时间排序,形成稀疏但跨度更长的历史。进一步看,这种做法训练的是“隔了一段时间,如何重新使用早先的线索”,与增加相邻帧数量并不相同。公开配置中的 random_sorted 对应的就是这种抽样方式。[^sampling]

# starVLA/dataloader/gr00t_lerobot/datasets.py
sampling_mode = str(self.data_cfg.get("group_sampling_mode", "consecutive"))
if sampling_mode == "random_sorted":
    frames = np.sort(rng.choice(traj_len, size=group_size, replace=False))
    step = int(frames[pos])
elif sampling_mode == "consecutive":
    # The window [start, start+group_size) is fully inside the trajectory.
    start = int(rng.integers(0, traj_len - group_size + 1))
    step = start + pos

这段实现的条件是轨迹足够长,才能不重复地取到一个完整组;同组位置使用一致的采样随机性,再分别取得对应帧。时间排序保证较早位置先进入记忆,时间戳则保留了真实间隔。这种“事件感知”不意味着采样器已经知道哪一帧发生了抓取成功。 当前默认采样仍是全轨迹上的随机抽样,稀疏覆盖和后续相似性压缩共同使阶段差异更有机会被保留下来。

7.2 容量满了,合并时间相邻且最相似的一对

每个库的容量有限,新表示写入后如果超出限制,系统就计算各对时间相邻条目的余弦相似度,把最相似的一对合成一个平均表示。限定相邻可以避免把任务开始和结束时碰巧相似的画面直接混合,较晚时间戳则保证合并后的摘要不会过早暴露给查询。换句话说,压缩优先发生在特征变化较小的阶段,变化较大的边界更有机会继续占用不同槽位;但这是一种倾向,不是保留语义事件的保证。

r ⋆ = arg max ⁡ 1 ≤ r < L cos ⁡  ⁣ ( vec ⁡ ( m r ) , vec ⁡ ( m r + 1 ) ) , m ‾ = m r ⋆ + m r ⋆ + 1 2 , s ‾ = max ⁡ ( s r ⋆ , s r ⋆ + 1 ) . r^\star=\underset{1\le r<L}{\operatorname{arg\,max}} \operatorname{cos}\!\left( \operatorname{vec}(\mathbf m_r),\operatorname{vec}(\mathbf m_{r+1}) \right), \quad \overline{\mathbf m}=\frac{\mathbf m_{r^\star}+\mathbf m_{r^\star+1}}{2}, \quad \overline s=\max(s_{r^\star},s_{r^\star+1}). r⋆=1≤r<Largmax​cos(vec(mr​),vec(mr+1​)),m=2mr⋆​+mr⋆+1​​,s=max(sr⋆​,sr⋆+1​).

其中, L L L 是当前条目数, m r \mathbf m_r mr​ 表示第 r r r 个存储张量, s r s_r sr​ 是它的时间戳; vec ⁡ \operatorname{vec} vec 把整组 token 展平成向量,以便比较两个条目的整体特征。下面的片段来自 _merge_closest_pair,保留了相似度选择、特征平均和时间戳处理的实际语句。合并时存储较晚时间,是因为一个摘要已经包含两个来源时刻的信息,不能再把它伪装成只来自较早那一帧。

# starVLA/model/modules/memory/mem_bank.py
feats = torch.stack([feat for (_, feat) in bank], dim=0)
f = feats.flatten(1)
sims = F.cosine_similarity(f[:-1], f[1:], dim=-1)
idx_max = int(sims.argmax().item())
timestep_i, feat_i = bank[idx_max]
timestep_j, feat_j = bank[idx_max + 1]
fused_feat = 0.5 * (feat_i + feat_j)
if timestep_i is None:
    merged_ts = timestep_j
elif timestep_j is None:
    merged_ts = timestep_i
else:
    merged_ts = max(int(timestep_i), int(timestep_j))
bank[idx_max] = (merged_ts, fused_feat.detach().clone())
bank.pop(idx_max + 1)

这里要区分“保留一个时间戳”和“完整保存该时刻的原始表示”。被合并的槽位可能已经概括了多帧,不能再当作未经修改的关键帧。源码也没有为摘要保存原始帧计数,反复做二分平均不等于对所有来源帧做等权平均:三个表示先后合并,后参与合并的那一个可能获得更大权重。因此,合并顺序会影响最后留下什么信息,小物体变化也可能被整体特征的相似性掩盖。这些都是压缩所付出的信息代价。

直觉理解:把一整段操作记成笔记时,连续几页都在描述“手正在靠近杯子”,可以压缩成一条;从右手交到左手的转折则值得单独记下。相似性合并试图实现这种效果,但它依据特征变化做取舍,并没有一个知道任务含义的编辑逐条判定重要性。

在这里插入图片描述

7.3 公开快速启动未必会在训练组内触发压缩

一个容易忽略的配置关系是采样组长度与记忆容量。论文附录列出的 LIBERO 组长度为 32、容量为 16,RoboTwin 分别为 16 和 8,因此一组内便能触发溢出合并;公开快速启动把二者都设为 16,并在每个 batch 开始时清空分组记忆。按这一默认路径,一组最多写入 16 帧,通常不会在组内触发容量溢出。执行时 episode 更长,仍可以触发压缩,但两种设置对训练期间合并行为的覆盖不同。

这个差异解释了为什么不能仅按模块名称判断论文机制已经被完整复现。训练期间的检索、部署期间的连续积累,以及超容量后的合并,需要分别确认是否发生。增大梯度累积只能增加有效训练 batch,不会把不同 batch 的历史自动接起来。要研究事件压缩的作用,应记录各库的写入次数、合并次数和保留时间戳,而不是只观察总损失下降。公开默认配置以跑通流程为目标,与论文训练模板承担的验证任务不同。

8. 几何记忆怎样进入最终动作

8.1 用观测查询几何,再通过门控融合

检索完成后,视觉 token 以查询的身份访问记忆增强后的几何 token,把几何工作维度映射到视觉工作维度,再通过逐通道门控混合。**门控融合(gated fusion)**让模型学习当前动作需要多少几何信息,也保留直接使用观测表示的路径。公开实现先把几何输出分支初始化为零,再把融合门的偏置设为 4,使训练开始时更多依赖原有视觉表示。这种初始化减少新增分支在训练初期对既有特征的扰动。[^fusion]

g t = σ  ⁣ ( W g [ h t ; p ~ t ] + b g ) , p t ′ = g t ⊙ p ~ t + ( 1 − g t ) ⊙ h t . \mathbf g_t=\sigma\!\left(W_g[\mathbf h_t;\widetilde{\mathbf p}_t]+\mathbf b_g\right), \qquad \mathbf p'_t=\mathbf g_t\odot\widetilde{\mathbf p}_t +(1-\mathbf g_t)\odot\mathbf h_t. gt​=σ(Wg​[ht​;p ​t​]+bg​),pt′​=gt​⊙p ​t​+(1−gt​)⊙ht​.

其中, p ~ t \widetilde{\mathbf p}_t p ​t​ 是经过历史检索的视觉表示, h t \mathbf h_t ht​ 是视觉查询几何后得到的分支输出, g t \mathbf g_t gt​ 是取值在零到一之间的门, ⊙ \odot ⊙ 表示逐元素乘法, σ \sigma σ 是 sigmoid 函数。门越接近一,融合结果越偏向观测路径;越接近零,越偏向几何分支。初始偏置为 4 时,sigmoid 约为 0.982,因此只是近似保留观测,并非数学上完全相等。下面的源代码正好对应这一融合过程。

# starVLA/model/modules/geoplan/fusion.py
kv = self.norm_kv(self.geo_proj(geo_guidance))
q = self.norm_q(obs_tokens)
attn, _ = self.cross_attn(q, kv, kv, need_weights=False)
h = attn + self.ffn(self.norm_ffn(attn))
g = torch.sigmoid(self.gate(torch.cat([h, obs_tokens], dim=-1)))
return g * obs_tokens + (1.0 - g) * h

几何融合后的视觉 token 与另一条上下文观测流一起,构成动作专家的条件,本体状态另行输入。这里的关键是,几何记忆通过特征条件影响动作,不会先被转换成一个显式的物体地图,再交给传统规划器。检索门与这里的几何融合门也不是同一个模块:前者混合现在与过去,后者混合观测与几何。把两种门区分开,才能正确理解消融究竟移除了哪条信息路径,而不是把所有收益笼统称为“注意力更强”。

8.2 从动作块预测走到闭环执行

动作专家也采用流匹配,但生成对象换成机器人动作。训练时学习从噪声到示范动作块的速度,执行时从高斯噪声出发,经过若干次 Euler 更新得到动作序列。一个更新可写成 A ( k + 1 ) = A ( k ) + Δ τ   v ψ a c t ( A ( k ) , τ k ; C t , s t ) \mathbf A^{(k+1)}=\mathbf A^{(k)}+\Delta\tau\,v_{\psi}^{\mathrm{act}}(\mathbf A^{(k)},\tau_k;\mathbf C_t,\mathbf s_t) A(k+1)=A(k)+Δτvψact​(A(k),τk​;Ct​,st​),其中 k k k 是生成动作块时的积分步索引, C t \mathbf C_t Ct​ 是融合后的上下文。这段积分发生在一次策略查询内部,与机器人随后实际执行多少步是两件事。

完整闭环可以按下表串起来:先重置任务记忆,再对当前观测编码,三路分别读取历史、写入当前表示并按需压缩,接着融合几何与观测,最后生成并执行部分动作。记忆只在模型收到新观测并被调用时更新。 如果一次预测后连续执行很长的动作块,中间的遮挡或任务转折就可能没有及时进入记忆。因此执行长度与记忆采样密度相互关联,不能只把它当成一个孤立的推理加速参数。

顺序训练阶段闭环执行阶段
1从同一轨迹采样并排序观测episode 开始时重置记忆
2教师生成点图,示范提供辅助目标读取当前多视角图像、指令和状态
3主干产生观测与 GeoPlan 表示主干产生观测与 GeoPlan 表示
4各库先读历史,再写当前表示各库先读历史,再写当前表示
5超容量时合并,融合几何与观测超容量时合并,融合几何与观测
6同时优化动作与几何损失动作专家从噪声生成动作块
7分组训练按 batch 管理记忆执行部分动作,取得新观测后循环

9. 从代码走完整个实现流程

9.1 准备模型、数据与两个运行环境

公开仓库的主线是 LIBERO,模型端需要 Python 3.10 及以上和适配的 CUDA PyTorch,仿真端按 LIBERO 的依赖单独准备。基础流程还需要 Qwen3-VL-4B-Instruct、本地 VGGT 源码与权重,以及 LeRobot 格式数据。下面命令整理自官方 README,展示环境入口;其中下载、安装、训练和机器人评估并未在撰写本文的机器上实际运行。源码阅读能解释实现,但不能替代带模型资产的完整运行验证。[^code]

# 官方 README:在已激活的模型环境中执行
git clone https://github.com/GeoMem-VLA/GeoMem-VLA.git
cd GeoMem-VLA
pip install -r requirements.txt
pip install -e .
cp .env.example .env

…详情请参照古月居

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐