VLA 的微调目标只有一行:让预测出来的动作和示范动作对齐。视觉编码器、语言模型、动作专家被同一个损失拽着走,没有任何一项在问"你现在看的地方对不对"。这个空档是有代价的——当模型把注意力放在桌角、放在机械臂自己的关节上、放在一个长得像但并不是指令点名的那张牌上时,动作损失并不会立刻报警,因为动作头只是在照着一个已经偏掉的视觉表征做回归。

A3-VLA 这篇论文要补的就是这一项。做法可以用一句话说清:从示范轨迹里自动算出"目标物体在哪、机械臂在哪",把这两块区域变成两个软约束加进训练损失,让语言 token 和状态 token 在查询图像时,至少有一定比例的注意力落在这些区域上;再加一个对比损失,把目标区域的表征拉向指令、把背景推远。

先把读者最关心的三件事报出来。要不要额外标注:不要,区域是从轨迹的帧间变化里自己长出来的,只有"交互发生在哪一帧"这个粗粒度时刻还需要从夹爪状态一类的信号里取。涨多少:VLABench 上 π0 从 0.47 到 0.64,RoboTwin 2.0 上 0.42 到 0.52,真机厨房任务从 0.55 到 0.76。贵不贵:推理一分钱不加、参数一个不加,代价全压在训练侧和一遍离线预处理上。

一分钟速览

  • 痛点:VLA 微调只有动作监督,视觉注意力有没有落在任务相关区域,从来不被直接评估或鼓励,VLM 预训练出来的判别性注意力会在微调中漂移。
  • 证据:论文给出 π0 与 OpenVLA-OFT 在 VLABench 选扑克任务上抓错牌的注意力图,热区没有压在指令点名的牌上。
  • 做法:从交互引起的画面变化里抽出候选目标区域与机械臂区域,用 SAM2 沿轨迹精修成时序一致的伪区域,再以两个软约束加进微调损失。
  • 「自动」的边界:不需要人画框、不需要人标目标物,但仍需一个粗略的交互时刻,来自夹爪状态、接触信号或预定义状态区间。
  • 损失加在哪:加在 VLM 最后一层、对全部注意力头取平均的注意力图上;语言到图像、状态到图像各一条平方铰链下界,阈值都是 0.25。
  • 结果:VLABench 上 π0 0.47→0.64、OpenVLA-OFT 0.16→0.40、π0.5 0.41→0.67;RoboTwin 2.0 上分别 +9.8、+7.0、+6.5 个百分点;真机 SR 0.55→0.76。
  • 代价:推理零额外开销、零额外参数;训练多算两个铰链损失与一个对比损失,SAM2 预处理离线做一次并缓存。
  • 论文没给的:训练墙钟、显存峰值、预处理耗时、置信区间,以及"加数据""加通用正则"这两档对照。

注意力跑偏:VLA 微调丢掉的那部分感知

一个被忽略的失败模式

论文开篇拿出的证据是一张对比图:π0 与 OpenVLA-OFT 在 VLABench 的选扑克任务上,语言指令是"拿起红桃 A",模型最后抓错了牌。图上把语言 token 查询图像时的注意力按层展开,从 Layer 0 一路到 Layer 17(π0)或 Layer 31(OpenVLA-OFT),最右一列标着 “Wrong Target”。

看这张图的正确方式是看热区的位置,而不是看它有多亮。热区散在桌面、机械臂、背景卡片上,指令点名的那个花色并没有被稳定地圈出来。作者的解读是:这类失败不该全算到动作头头上,主干没有把注意力放到指令指定的物体上,动作头再准也只能开出"看起来合理但目标错了"的轨迹。

需要说清楚的是证据强度。这是一张定性的可视化,论文没有给出"注意力偏移程度"和"成功率"之间的定量相关性,也没有做"把注意力强行挪过去、成功率是否单调上升"的干预实验。它能立住的是"这个失败模式存在",不能立住"它是主要原因"。

三个底座上同一种病

论文选了三个差异很大的底座:π0 是流匹配(flow matching)的动作块生成模型,OpenVLA-OFT 是自回归 token 加优化过的微调配方,π0.5 是拿异构数据预训练过的增强版。三者在 VLABench 的同类任务上都出现了选错目标的情况。

这个选择是有讲究的。如果只在 π0 上发现问题,很容易被解释成"某个流匹配实现的毛病";三个范式都中招,才能支撑"这是微调目标本身的缺口"这个判断。

为什么动作损失救不了它

作者把原因拆成两条,我认为第二条比第一条更有解释力。

第一条是机制层面的:微调阶段没有任何信号指出哪些图像区域对当前任务关键。流匹配或自回归目标只监督动作精度,注意力有没有对齐从未被直接评估或鼓励,于是 VLM 在预训练阶段学到的"能判别性地关注语义区域"的能力,会在微调中逐渐漂移。

第二条是对比层面的:已有工作给的引导要么是间接的,要么与任务无关。CoT-VLA 走视觉思维链,是在整幅场景上做推理,落不到"这一帧该看哪个 patch";π0.5 和 Gemini Robotics 靠开放世界知识,那种知识来自异构数据,不针对当前这条轨迹里被操作的那个物体。

于是论文的立场变成:操作过程本身编码了"什么在视觉上重要"的信息。物理接触的那一刻、末端执行器的轨迹、被操作的那个物体,都指向该看的区域。如果能把这份信息取出来当显式引导,任务相关的视觉感知就有可能在整个微调过程中被保住,而不是被动作学习覆盖掉。

图 1
图 1|π0 与 OpenVLA-OFT 在 VLABench 选扑克任务上的注意力图,从左到右为浅层到深层,最右一列标出错误目标:热区散在桌面与背景上,指令点名的花色没有被稳定圈出。

自动:区域从交互瞬间里长出来

这一节回答"自动到底自动在哪"。结论先给:省掉的是人工标注,省不掉的是一个粗略的交互时刻。

交互时刻:唯一还需要的外部信号

论文把交互时刻记作 t_k,定义是"机器人开始与任务相关物体发生物理交互的那个粗略时刻"。来源写得很明确:夹爪状态、接触信号,或者预定义的状态区间。

附录里的两张示意图把实现细节露了出来:VLABench 的"把蜘蛛侠放进礼盒"任务标的是 gripper = -1,RoboTwin 的"按铃"任务标的是 gripper = 0。也就是说,落地时这就是读夹爪通道、过一个阈值事件,不需要人工逐帧标注,也不需要训练一个阶段分类器。

所以"自动"的准确含义是:不需要人画框、不需要人标"哪个是目标物体"、不需要人切分阶段;但你需要一条带夹爪或接触信号的示范轨迹,并且这条轨迹里"手碰到东西"这件事在信号上是可见的。论文在局限里自己承认了这一点,后面会展开。

目标物体:接触前不动,接触后动

判定目标物体的依据是一条物理常识:目标在接触之前基本待着不动,被碰之后才开始位移或形变。

形式化之后就是两个量。在交互前窗口 [t_k-2w, t_k-w] 与交互后窗口 [t_k, t_k+w] 里,分别算相邻帧差分的均值:

d(i,j)pre=1w∑t=tk−2wtk−w∥I(i,j)t+1−I(i,j)t∥2 d^{\mathrm{pre}}_{(i,j)} = \frac{1}{w}\sum_{t=t_k-2w}^{t_k-w} \left\| I^{t+1}_{(i,j)} - I^{t}_{(i,j)} \right\|_2 d(i,j)pre​=w1​t=tk​−2w∑tk​−w​​I(i,j)t+1​−I(i,j)t​​2​

d(i,j)post=1w∑t=tktk+w∥I(i,j)t+1−I(i,j)t∥2 d^{\mathrm{post}}_{(i,j)} = \frac{1}{w}\sum_{t=t_k}^{t_k+w} \left\| I^{t+1}_{(i,j)} - I^{t}_{(i,j)} \right\|_2 d(i,j)post​=w1​t=tk​∑tk​+w​​I(i,j)t+1​−I(i,j)t​​2​

符号很直白:w 是窗口宽度(实验里取视频帧率),I_t(i,j) 是第 t 帧在 patch (i, j) 上的 RGB 值,两个量都是 patch 级的时间差分强度。

判据是非对称的:d_pre < τ 且 d_post > τ 才算候选目标区域 C_tar。这个非对称性是整套方法里最巧的一笔——它同时排掉了两类干扰。一类是"一直在动"的东西,比如晃动的背景、走来走去的干扰物,它们的 d_pre 也很大,过不了第一道门;另一类是"一直不动"的东西,比如桌面、礼盒,它们 d_post 上不去,过不了第二道门。留下的正好是"原本安静、被碰了才动"的那一小撮 patch。

阈值 τ 取 10,在所有实验里固定。作者说性能对这个取值不敏感,附录里也重复了一遍。窗口宽度 w 取视频帧率——这个选择有点绕,意思是前后各看大约一秒。

轨迹里有多段交互时,做法是在每个交互时刻切分轨迹、各段分别求区域、最后取并集。这一步是为了处理"先放一个再拿一个"这类任务,避免时间上分开的两次物体变化互相污染。

机械臂:全程都在动,所以换一个判据

机械臂不能用上面那套。它全程都在动,d_pre 本来就大,非对称判据会把它整个排除掉。

所以机械臂区域 C_rob 用的是另一条:d_t = ||I^{t+w} - I^t||,d_t > τ 的 patch 归为机械臂候选。判据从"前后对比"退化成"邻帧差分",因为对机械臂来说"动"本身就是身份特征。

这条判据的代价是会误收:画面里任何在动的干扰物都会被收进 C_rob。作者显然知道这一点,所以后面所有的区域都只当软先验用,不当硬标签。

SAM2 只负责铺满时间轴

启发式给出来的东西很不像样:交互帧附近的一小把 patch,帧与帧之间不连续,遮挡处直接断掉,噪声大的地方会飘出零散小块。

补救办法是拿 SAM2 当时序精修工具。流程是:把选中的 patch 转成二值掩码,直接当 mask prompt;目标与机械臂分别提示、分别精修;从被提示的交互帧出发,沿示范轨迹向前后两个方向传播,得到逐帧一致的伪掩码。

这样做的收益有两个。一是抹平帧间抖动,二是把初始提议铺到轨迹的其余部分——包括启发式根本没生效的那些帧。换句话说,启发式只需要在少数几帧上"猜对个大概",剩下的交给传播。

最后一步是映射回 VLA 的 patch 网格:精修后的像素掩码和某个 patch 的重叠比超过 ρ = 0.25,就把这个 patch 算进区域。这一步不能省,因为后面的损失全在 patch 粒度上算。

必须强调一句作者的自我定位:这些掩码不是 ground truth,只是"高召回的粗线索"。整条链路的设计目标不是准,而是"够用且不要钱"。

预处理的账:一次离线,之后不再跑

所有伪掩码在策略训练之前就算好并缓存。训练时直接读缓存,推理时更不会碰 SAM2。

这一点对成本核算很关键:SAM2 的开销是一次性的、与训练轮数无关的,而且不进入部署路径。代价是数据预处理的墙钟时间被拉长了,具体多长论文没写。

图 2
图 2|VLABench 的「把蜘蛛侠放进礼盒」任务:上排为候选机械臂区域,中排为原始图像序列(箭头指交互帧),下排是交互前后窗口切出的 pre、tar、pos 三块区域。

图 3
图 3|同一套流程搬到 Robotwin 的「按铃」任务:双臂仿真里同样能框出机械臂区域,并在交互时刻前后切出目标区域,说明启发式不依赖某种特定渲染风格。

图 4
图 4|整体结构分两段:左边用交互引起的画面变化加 SAM2 时序精修产出候选区域,右边把区域分别送进注意力权重分配与对比学习两个分支,与动作损失一起优化。

两个对齐损失:一个管看够,一个管看对

区域有了,接下来的问题是"怎么用它"。论文的答案是两个互补的出口:一个作用在注意力权重上,管"看够了没有";一个作用在表征空间里,管"看对人了没有"。

语言到图像:软下界,不是硬标签

先把注意力图取出来。用的是 VLM 最后一层、对全部注意力头取平均的那张图:M^l2i 表示语言 token 到图像 patch 的归一化权重,对 N_l 个语言 token 求平均后得到 M^l2i。

然后对该区域内的权重求和,要求它不低于阈值 η1,低于就罚,罚的是平方铰链:

Ll2i=[max⁡(0, η1−∑(i,j)∈CtarMˉ(i,j)l2i)]2 L_{l2i} = \left[ \max\left(0,\ \eta_1 - \sum_{(i,j)\in C_{tar}} \bar{M}^{l2i}_{(i,j)} \right) \right]^2 Ll2i​=​max​0, η1​−(i,j)∈Ctar​∑​Mˉ(i,j)l2i​​​2

η1 取 0.25。式子的意思是:目标区域至少要吃下四分之一的语言到图像注意力,多了不管,少了按缺口大小的平方罚。

为什么是下界而不是"必须集中到这里",这是设计里最值得记一笔的地方。硬约束会把注意力锁死在目标上,牺牲动作学习和 VLM 原有的场景理解;作者只想说"至少看够这么多",剩下的注意力爱去哪去哪。这个"只设地板不设天花板"的选择,和后面超参敏感性实验里"λ1 一大性能就掉"是同一个思路的两面。

状态到图像:把本体位姿锚到画面上

第二条盯的是另一对关系:机器人自己的状态,和画面里自己的身体。

同理,M^s2i 是状态 token 到图像 patch 的归一化注意力,对 C_rob 内的权重求和,低于 η2 = 0.25 就罚,形式与上面完全一致。

动机不难理解:动作生成依赖"我的关节角是多少"和"画面里我的手臂在哪"之间的对应关系。如果状态 token 对图像的注意力散在别处,这个对应关系就只能靠动作损失间接学。

这条约束比第一条更微妙。在 π0 这类模型里,状态被投影成一个 token,它对图像的注意力分布本来就该压在机械臂上;给它加下界,等于逼模型显式建立"状态—本体外观"的映射。后面消融里它的贡献是 −4 个百分点,比语言那条小得多,但方向是稳的。

对比学习:只在接触前算

注意力是权重层面的引导,表征层面还需要一条。作者的观察是:C_tar 天然把交互前的每一帧切成两个语义不同的集合——区域内的 patch 是伪正样本,区域外的是上下文负样本。

做法是均值池化三份表征:语言 token 的均值作锚点 P_lan,C_tar 内 patch 的均值作正样本 P+,区域外 patch 的均值作负样本 P-。然后用余弦相似度做一个二分类式的 InfoNCE,把正样本拉近、负样本推远。

有一个容易被略过的细节:这个损失只在交互发生之前算。理由是那时目标物体可见、被机械臂挡得少,语言和目标的对应关系更干净。反过来,接触之后目标被手盖住,负样本集合里会混进大量机械臂像素,对比信号会被污染。这个取舍很小,但说明作者确实看过失败样本。

总损失与超参:这是一味小剂量调料

三个辅助项和动作损失加在一起:

L=LFM+λ1(Ll2i+Ls2i)+λ2Lcl \mathcal{L} = L_{FM} + \lambda_1\left(L_{l2i} + L_{s2i}\right) + \lambda_2 L_{cl} L=LFM​+λ1​(Ll2i​+Ls2i​)+λ2​Lcl​

λ1 = 0.1,λ2 = 0.01。两个权重差一个数量级,且都很小。这个取值本身就说明了作者的意图:辅助项是"轻微推一把",主目标仍然是流匹配的动作损失。

训练配置照抄各底座原设置:π0 与 π0.5 的 batch size 分别是 32 与 256、都训 30k 步;OpenVLA-OFT 每卡 batch 8、训 50k 步;全部实验在 8 张 NVIDIA H200 上跑完。换句话说,这套方法不改变训练的步数预算,只改变每一步里多算几项损失。

推理时它消失了

这是全文对部署最友好的一句:推理阶段只用微调后的 VLA 策略,不引入任何额外计算,也不增加任何参数。

没有新分支、没有新头、没有新 token 进上下文。你拿到的是一个行为改变了的 checkpoint,接口、时延、显存占用与原来一模一样。

一条轨迹到三个损失:整条链路长什么样

把上面几节拼起来,就是下面这段流程。注意首行的说明:这是按论文正文与附录整理的示意,不是论文原始伪代码。

仅示意,非论文原始伪代码

输入: 示范轨迹 {(I_t, s_t, a_t)}、夹爪/接触信号
超参: w = 视频帧率, τ = 10, η1 = η2 = 0.25, ρ = 0.25, λ1 = 0.1, λ2 = 0.01

# 阶段一:离线生成伪区域(每条轨迹做一次,结果缓存)
1  从夹爪状态或接触信号取交互时刻 t_k(多段交互则取一组)
2  for 每个交互时刻:
3      d_pre  ← 窗口 [t_k-2w, t_k-w] 内的相邻帧差分均值
4      d_post ← 窗口 [t_k, t_k+w]    内的相邻帧差分均值
5      C_tar  ← { p | d_pre(p) < τ  且  d_post(p) > τ }
6      C_rob  ← { p | ||I_{t+w}(p) - I_t(p)|| > τ }
7  把 C_tar / C_rob 的二值掩码当 SAM2 的 mask prompt,沿轨迹前后传播
8  按重叠比 > ρ 把精修后的掩码映射回 VLA 的 patch 网格,写成缓存

# 阶段二:带辅助损失的微调
9  for 每个训练 batch:
10     L_FM  ← 流匹配动作损失(原有目标)
11     M̄_l2i, M̄_s2i ← VLM 最后一层注意力,按头平均
12     L_l2i ← [max(0, η1 - Σ_{C_tar} M̄_l2i)]²
13     L_s2i ← [max(0, η2 - Σ_{C_rob} M̄_s2i)]²
14     L_cl  ← InfoNCE(语言均值, C_tar 内均值, C_tar 外均值),仅交互前帧
15     L     ← L_FM + λ1·(L_l2i + L_s2i) + λ2·L_cl
16     反向传播,更新 VLA 全部参数

# 阶段三:部署
17  只加载微调后的 VLA;无 SAM2、无辅助分支、无额外参数

读这段伪代码时值得停一下的是第 11 行。注意力矩阵在前向里本来就存在,取出来求平均几乎不要钱——前提是你的实现愿意把最后一层的注意力权重暴露出来。这一点决定了这套方法在工程上是"顺手加一行"还是"要改注意力实现",后面讲成本时会再提。

涨了多少、贵在哪:三套评测与训练成本

VLABench:π0 从 0.47 到 0.64

VLABench 是这套方法的主战场。五个任务套件——Chemistry Tube、Fruit、Poker、Toy、Mahjong——每个 500 条示范,每个套件测 50 次,五个任务联合训练一个策略。

底座原版平均加 A3-VLA论文口径增益
π00.470.64+16.4 个百分点
OpenVLA-OFT0.160.40+24.0 个百分点
π0.50.410.67+25.2 个百分点

逐任务看 π0 这一行更清楚:Chemistry 0.52→0.82、Fruit 0.60→0.66、Poker 0.54→0.82、Toy 0.40→0.46、Mahjong 0.30→0.42。

涨得最多的三类任务有个共同点:候选物长得太像。Poker 要从一堆花色里挑一张,Mahjong 要从一堆牌里挑一张,Chemistry 要从一排试管里挑一支。这正是"注意力落在哪个 patch 上"决定成败的场景。

反过来,Fruit 和 Toy 只涨了 6 个百分点。论文没有解释这个差异,我倾向于认为这两类任务的物体更容易靠颜色和形状区分,原底座本来就没看错。这只是我的推断,论文没有给证据。

RoboTwin 2.0:双臂任务上增益明显变小

RoboTwin 2.0 是双臂仿真,四个任务——Beat Block Hammer、Click Bell、Move Playingcard Away、Place Burger & Fries——每个任务用官方流水线生成 100 条示范,测 100 次。

底座原版平均加 A3-VLA增益
π00.420.52+9.8 个百分点
OpenVLA-OFT0.200.27+7.0 个百分点
π0.50.580.65+6.5 个百分点

增益最大的是 Place Burger & Fries:π0 从 0.12 到 0.26。作者归因于"长程顺序操作更需要看对地方"——这个任务要先放汉堡再放薯条,中间任何一步看错都会连锁。

但我得指出一个不对称:RoboTwin 的绝对增益(6.5 到 9.8 个点)明显小于 VLABench(16.4 到 25.2 个点)。论文没有讨论这个落差。一个可能的解释是 RoboTwin 的任务更偏运动规划、物体辨识难度低,注意力对齐能救的地方本来就少。这是推断,不是论文结论。

真机:厨房五个任务,Select Bottles 从 0.25 到 0.75

真机用的是 Songling 机械臂,厨房场景,五个任务各 80 条示范,每个任务评 20 次。除了成功率还记一个任务进度分:完成算 1,半途失败算 0.5,与指令不符算 0。

任务π0π0.5A3-VLA(π0)
Open Cooker0.850.900.90
Pick & Place Bowl0.750.650.80
Pick 2 Vegetables0.400.450.55
Select Bottles0.250.400.75
Desktop Sweep0.500.700.80
平均成功率0.550.620.76
平均任务进度0.670.730.87

Select Bottles 是全场最大涨幅:0.25 → 0.75。这个任务要求从一排瓶子里挑出指令点名的那一瓶,几乎就是"看错目标"的教科书场景,涨得最多不意外。

同一张表里也有反例:Open Cooker 从 0.85 到 0.90,而 π0.5 本来就有 0.90。也就是说在这个任务上,本文相对最强基线没有优势,只是追平。作者没有单独讨论这一格。

另外注意真机只评测了 A3-VLA(π0) 这一个组合,π0.5 只作为基线出现。想看"在 π0.5 上加本文能到多少"的读者,这篇论文没有答案。

推理侧:什么都没加

没有新增参数,没有新增前向分支,测试时也不跑 SAM2。作者的表述是"推理阶段只用微调后的策略,因此没有额外计算开销"。

对做部署的人来说这条最实在:模型文件大小不变、时延不变、显存不变,行为变了。这类改动在评审会上最容易过。

训练侧:多算三项损失,步数不变

训练侧多出来的是三样东西:从最后一层注意力里取平均、两个平方铰链、一个对比损失。

步数预算没变——π0 与 π0.5 都是 30k 步、batch 32 与 256;OpenVLA-OFT 每卡 batch 8、50k 步。这些都是各底座原本的设置,论文没有为配合新损失而延长训练。

离线侧多一遍 SAM2 预处理:每条示范轨迹跑一次,结果缓存。这一步与训练轮数无关。

论文没给的三个数

想把方法接进现有流水线的人,最想知道三个数,论文一个都没给:

  • 训练墙钟时间比原底座多多少
  • 峰值显存多多少(注意力权重被取出来做 head 平均,会不会多占一份显存)
  • 500 条示范的 SAM2 预处理要跑多久

我的判断——这一条是推断,不是论文内容——第 11 行伪代码可能比看上去贵。很多训练框架默认走 flash-attention 一类不返回注意力权重的实现,要拿到最后一层、按头平均的 M,就得改成分块重算或者换回 eager 注意力。如果真是这样,这一块的训练开销就不是"顺手",而是"要给注意力实现开个口子"。论文没有披露实现细节,这一条只能自己实测。

训练曲线:主损失更低也更稳

论文还给了一组训练过程的对比:同设置下,A3-VLA 的主损失 L_FM 全程低于 π0,而且曲线明显更平滑;π0 的曲线有多个尖峰,最高的一个接近 0.046。

每 5k 步评一次的平均成功率也全程领先:5k 步时两者都在 0.06 附近,10k 步时本文约 0.22、π0 约 0.14,30k 步时约 0.64 对 0.47。作者的解释是辅助目标提供了结构化的视觉 grounding,减少了模型"只能从动作损失里自己找任务相关线索"的负担。

这条解释合理但不可证。更保守的说法是:加了三个辅助项之后优化景观变了,收敛更稳;至于这份稳定是不是来自"视觉 grounding",需要单独设计实验才能分清。

图 5
图 5|左为训练中的主损失曲线:π0 有多个接近 0.046 的尖峰,本文全程更低更平滑;右为每 5k 步评测的平均成功率,30k 步时本文约 0.64、π0 约 0.47。

通用技巧还是个例

这是我最想在论文里找到、但只找到一半答案的问题。结论先说:跨底座是真通用,跨任务与跨本体只有有限证据。

三个底座都涨,这是最硬的证据

π0 是流匹配、OpenVLA-OFT 是自回归 token、π0.5 是异构数据预训练,三个范式在两个仿真 benchmark 上全部为正。这一点比"在某个底座上刷到 SOTA"有意义得多——它说明增益不来自某个特定动作头的实现细节。

消融:语言到图像那一路贡献了绝大部分

变体ChemistryFruitPokerToyMahjong平均
A3-VLA(π0)0.820.660.820.460.420.64
去掉 L_l2i0.620.600.600.420.340.52
去掉 L_s2i0.760.620.780.460.380.60
去掉 L_cl0.780.660.800.400.400.61
π0 原版0.520.600.540.400.300.47

去掉 L_l2i 掉 12 个百分点,去掉 L_s2i 掉 4,去掉 L_cl 掉 3。三个都不为零,说明设计是互补的;但收益的绝大部分来自"把语言注意力摁到目标物体上"这一条。

还有一个容易被忽略、但对判断"是不是真本事"很关键的事实:这套方法一个参数都没加。所以增益不可能是"多了容量"造成的,这一点比很多"加个 adapter 涨点"的工作干净。

不过也要公平地说:论文没有做"加一个等容量的无关辅助头"或"加注意力熵正则"这类对照。所以严格讲,它排除的是"额外参数"这一种解释,没有排除"多任务正则本身就有用"这一种。

换任务、换本体:证据有多硬

任务维度上证据是够的:VLABench 五个套件、RoboTwin 四个任务、真机五个任务,十四类任务全为正。

本体维度上就薄了:仿真里是 VLABench 与 RoboTwin 的机械臂,真机是 Songling 单臂一种硬件。没有换过相机配置,没有换过机械臂型号,没有做人形或灵巧手。

更关键的是实验协议:所有实验都是"每个 benchmark 用自己的示范做微调",没有零样本迁移,也没有跨本体迁移。所以论文能支持的结论是"在有清晰接触事件、单一被操作物体、固定相机的操作任务上有效",而不是"换任何本体都有效"。

超参:剂量小才有效,加大会反噬

三个超参的敏感性曲线很说明问题。

λ1 在 0.1 到 1 之间是一段平台,超过之后开始掉,到 100 时跌到 0.47 附近(这是图上读数,论文只给了趋势描述)。作者的归因是:太粘注意力分配,就会挤占 L_FM 的动作学习。

λ2 趋势相同,0.01 到 0.1 之间最稳,取 0 反而比取 0.01 略低,说明这一项是小幅正贡献。

η1 更微妙:从 0 到 0.25 一路涨,0.25 到 0.5 是峰值区,再往上到 0.9 又回落。作者的解释是阈值太大时模型只盯着目标区域、忽略整幅场景信息。

合起来看,这套方法像一味剂量很小的调料:0.1 的权重、0.25 的阈值,多一点就压过主目标,少一点就没效果。它不是一个"调大就更强"的旋钮。

图 6
图 6|三个超参的敏感性:λ1 在 0.1 到 1 之间是平台、到 100 明显下降;λ2 在 0.01 到 0.1 之间最稳;η1 在 0.25 到 0.5 之间最好,取 0 时几乎退回原底座。

可视化:注意力真的挪过去了吗

两张图怎么看

第一组是 VLABench 的"取出 CuCl2 溶液"和真机的"先放辣椒再放胡萝卜",三列分别是 π0、π0.5 和本文,色标 0 到 1。

读法是看热区的位置和形状。π0 的热区弥散,几乎铺满整幅图;π0.5 的热区很集中,但集中在固定的几个 patch 上;本文的热区压在指令点名的那支试管、那根胡萝卜上。

这里有个值得展开的观察:π0.5 并不是"没看目标",而是"看的位置很固定"。作者的原话是它"sticks to specific positions of patches"。如果这个描述准确,那它更像记住了某个空间位置,而不是跟着指令走——这恰好是注意力对齐要治的病。

需要说明,这一段是我的解读,作者只描述了现象,没有做"位置固定 vs 指令驱动"的量化分析。

更多案例:换任务、换纹理之后

第二组图把案例扩到八个:VLABench 四个(含一个加了纹理扰动的)、真机两个、Robotwin 两个。

最有说服力的是真机那一对。前一个案例的指令是"先放辣椒再放胡萝卜",后一个是"先放辣椒再放黄瓜",两张图里除了辣椒之外的热区,从胡萝卜挪到了黄瓜。这个对比直接支持"注意力跟着指令走"而不是"跟着位置走"。

加了纹理扰动的那个案例也值得看:背景换成了没见过的纹理,本文仍然能找到目标物体的区域。这是后面扰动实验的定性版本。

图 7
图 7|语言 token 查询图像时的注意力热力图:π0 的热区弥散在整幅图上,π0.5 集中在固定的几个 patch 上,本文压在指令点名的目标物体上。

图 8
图 8|八个案例的注意力对比:VLABench 四例(含一例加纹理扰动)、真机两例、Robotwin 两例。真机那对案例里,除辣椒外的热区从胡萝卜挪到了黄瓜。

局限与失效场景

目标太小、被挡住、与背景同色

作者自己列了四种会让伪区域退化的情况:目标被完全遮挡;目标与背景在视觉上难以区分;目标太小,patch 级的变化不可靠;目标与干扰物一起移动。

这四条都指向同一个失效链条:差分判据拿不到干净信号 → 伪区域要么漏要么糊 → 辅助损失给出的引导变弱甚至变噪 → 最坏情况下等于往训练里加噪声。

其中"太小"最值得警惕。整套判据都在 patch 粒度上做,物体如果小于一个 patch,它的位移在差分图上几乎不可见。VLA 常用的视觉编码器 patch 尺寸在十几个像素量级,这意味着画面里那些"远处的小瓶子"很可能整条链路都覆盖不到。这一句里的 patch 尺寸是我的常识补充,论文没有给具体数值。

交互时刻这个假设

第二条局限更结构性:当前实现假设能拿到一个粗略的交互时刻,来源是夹爪状态、接触信号或预定义的状态区间。作者承认,没有明确交互事件的复杂本体或任务,需要更鲁棒的交互发现机制。

这是方法真正的边界。如果任务里"手碰到东西"这件事不明显——比如推、倒、持续接触、用工具间接操作——第一步就空了,后面所有环节都无从谈起。而这个假设在论文的实验里恰好全部成立:三个 benchmark 的任务都有清晰的抓取或点击动作。

依赖 SAM2 的质量与一遍预处理

伪掩码的质量受分割模型影响;预处理时间被拉长;论文没有量化这部分开销。

作者在局限里把这条和上一条并列,并在未来工作里提了三个方向:伪区域的不确定性加权、更鲁棒的交互引导区域发现、不依赖外部精修工具的端到端感知引导。换句话说,这三个方向就是作者自己认为还没解决的地方。

纹理扰动:涨点没有消除泛化差距

设置ChemistryFruitPokerToyMahjong平均
π0.50.300.420.640.320.400.41
π0.5 + 纹理扰动0.180.040.200.260.200.18
π0.5 + 高斯噪声0.260.240.600.260.300.33
A3-VLA(π0.5)0.740.501.000.420.680.67
+ 纹理扰动0.600.100.660.300.460.42
+ 高斯噪声0.620.320.940.360.600.57

这张表有两种读法,两种都该说。

乐观的读法:扰动之下本文始终领先 π0.5 二十多个百分点。纹理扰动下 0.42 对 0.18,高斯噪声下 0.57 对 0.33。高斯噪声的标准差是 10/255,不算强扰动但也不是可以忽略的量级。

不那么乐观的读法:绝对跌幅本文并不更小,甚至略大。纹理扰动下 π0.5 掉 0.23、本文掉 0.25;高斯噪声下 π0.5 掉 0.08、本文掉 0.10。相对跌幅倒是小很多(−37% 对 −56%),但那是因为起点高。

所以准确的说法是:注意力对齐抬高了扰动下的绝对水位,但没有改变"纹理一变就崩"这个性质。最刺眼的两格是 Fruit 从 0.50 掉到 0.10、Poker 从 1.00 掉到 0.66——后者尤其值得注意,因为 Poker 恰好是干净条件下本文最强的那一档(π0.5 底座上拿到 1.00)。

论文没报告的东西

  • 没有"加更多数据"的对照。想回答"这份涨点是不是等价于多标了 30% 数据",这篇论文答不了。
  • 没有"加通用正则"的对照,比如注意力熵正则、更强 dropout、视觉分支更强的数据增强。
  • 没有训练墙钟、显存峰值、SAM2 预处理耗时。
  • 真机只有一个底座、一种机械臂;VLABench 每套只测 50 次,没有置信区间,也没有多种子方差。
  • 主损失曲线的对比只在 π0 一个底座上做了,π0.5 与 OpenVLA-OFT 没有对应的训练曲线。

图 9
图 9|纹理扰动(左,换没见过的桌面纹理)与高斯噪声扰动(右,标准差 10/255)下的执行过程:上排 π0.5 抓错或中途停住,下排 A3-VLA(π0.5)仍能完成。

落地判断

什么团队值得试

  • 已经在微调 π0、OpenVLA-OFT、π0.5 一类 VLA,且失败案例集中在"选错目标、抓错物体"的团队。这套方法正好打这个点,而且消融显示收益的绝大部分来自语言注意力那一路。
  • 有示范轨迹、有夹爪或接触信号通道、能接受一遍离线预处理的团队。预处理是一次性的,不进部署路径。
  • 任务里存在清晰接触事件,且被操作物体在画面里不算小。这是方法成立的前提,不是可以调参绕过的。
  • 推理预算已经被压到极限、但训练预算还有余量的团队。这套方法的所有代价都在训练侧。

什么情况下别碰

  • 目标经常被遮挡,或者与背景在颜色纹理上几乎一样。伪区域会退化,辅助损失可能变成噪声源。
  • 没有夹爪或接触信号,任务里"手碰到东西"这件事不明显(推、倒、擦、用工具间接操作)。第一步就断了。
  • 训练预算也卡死,且不愿意为注意力权重改训练框架。论文没给训练开销数字,你得自己测,而我怀疑它比看上去贵。
  • 想要"不动训练流程、只换推理"的方案。这套要改损失函数,不是后处理。

一条最小验证路径

如果想在自己的数据上验一遍,我建议按这个顺序,每步都能独立否决:

  1. 先在 20 到 50 条轨迹上手工检查伪区域。如果 C_tar 经常盖住整张桌面、或者根本没盖住目标,后面所有步骤都别做。
  2. 只加 L_l2i(λ1 = 0.1、η1 = 0.25)跑一版,与原底座同设置对比。这一项单独贡献 −12 个百分点,是性价比最高的一步。
  3. 抽 20 帧把 M̄_l2i 画出来,确认热区真的落在指令点名的物体上。这一步是防"涨点了但机制不是论文说的那回事"。
  4. 确认有效后再加 L_s2i 与 L_cl。分别 −4 与 −3 个百分点,边际收益小,按预算决定要不要。
  5. 重点在"目标相似度高"的任务上验证(Poker、Select Bottles 这类)。收益集中在那里,别拿 Open Cooker 这种原底座已经 0.85 的任务来判断方法有没有用。

术语速查表

术语原文一句话解释
VLAVision-Language-Action Model把视觉观测和语言指令直接映射成动作序列的模型
流匹配flow matchingπ0 采用的动作生成范式,学一个从噪声到动作块的速度场
动作块action chunk一次前向预测出的未来若干步动作,长度记作 H
交互时刻interaction timestep, t_k机器人与目标物体开始发生物理交互的粗略时刻,来自夹爪或接触信号
伪区域pseudo region由启发式加 SAM2 精修得到的候选区域,不是真值标注
C_tarcandidate target regions目标物体的候选 patch 集合
C_robcandidate robot regions机械臂的候选 patch 集合
M^l2ilanguage-to-image attention语言 token 查询图像 patch 的归一化注意力权重
M^s2istate-to-image attention状态 token 查询图像 patch 的归一化注意力权重
η1 / η2attention threshold目标区域与机械臂区域要求的最低注意力占比,均取 0.25
L_clcontrastive loss把目标区域表征拉近指令、把背景推远的对比损失
SAM2Segment Anything Model 2用作离线时序精修工具,把交互帧的种子掩码铺满整条轨迹
纹理扰动texture perturbation, TP把场景换成未见过的纹理,测泛化
噪声扰动noise perturbation, NP给输入图像加高斯噪声,标准差 10/255
任务进度task progress, TP真机评分:完成 1、半途失败 0.5、与指令不符 0
VLABench—五个任务套件、每套 500 条示范的仿真基准
RoboTwin 2.0—双臂仿真基准,本文用了其中四个任务
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐