VLA 微调为什么把视觉看歪了?不用人工标注补两个注意力损失,仿真涨 17 个点、真机涨 14 个点
VLA 的微调目标只有一行:让预测出来的动作和示范动作对齐。视觉编码器、语言模型、动作专家被同一个损失拽着走,没有任何一项在问"你现在看的地方对不对"。这个空档是有代价的——当模型把注意力放在桌角、放在机械臂自己的关节上、放在一个长得像但并不是指令点名的那张牌上时,动作损失并不会立刻报警,因为动作头只是在照着一个已经偏掉的视觉表征做回归。
A3-VLA 这篇论文要补的就是这一项。做法可以用一句话说清:从示范轨迹里自动算出"目标物体在哪、机械臂在哪",把这两块区域变成两个软约束加进训练损失,让语言 token 和状态 token 在查询图像时,至少有一定比例的注意力落在这些区域上;再加一个对比损失,把目标区域的表征拉向指令、把背景推远。
先把读者最关心的三件事报出来。要不要额外标注:不要,区域是从轨迹的帧间变化里自己长出来的,只有"交互发生在哪一帧"这个粗粒度时刻还需要从夹爪状态一类的信号里取。涨多少:VLABench 上 π0 从 0.47 到 0.64,RoboTwin 2.0 上 0.42 到 0.52,真机厨房任务从 0.55 到 0.76。贵不贵:推理一分钱不加、参数一个不加,代价全压在训练侧和一遍离线预处理上。
一分钟速览
- 痛点:VLA 微调只有动作监督,视觉注意力有没有落在任务相关区域,从来不被直接评估或鼓励,VLM 预训练出来的判别性注意力会在微调中漂移。
- 证据:论文给出 π0 与 OpenVLA-OFT 在 VLABench 选扑克任务上抓错牌的注意力图,热区没有压在指令点名的牌上。
- 做法:从交互引起的画面变化里抽出候选目标区域与机械臂区域,用 SAM2 沿轨迹精修成时序一致的伪区域,再以两个软约束加进微调损失。
- 「自动」的边界:不需要人画框、不需要人标目标物,但仍需一个粗略的交互时刻,来自夹爪状态、接触信号或预定义状态区间。
- 损失加在哪:加在 VLM 最后一层、对全部注意力头取平均的注意力图上;语言到图像、状态到图像各一条平方铰链下界,阈值都是 0.25。
- 结果:VLABench 上 π0 0.47→0.64、OpenVLA-OFT 0.16→0.40、π0.5 0.41→0.67;RoboTwin 2.0 上分别 +9.8、+7.0、+6.5 个百分点;真机 SR 0.55→0.76。
- 代价:推理零额外开销、零额外参数;训练多算两个铰链损失与一个对比损失,SAM2 预处理离线做一次并缓存。
- 论文没给的:训练墙钟、显存峰值、预处理耗时、置信区间,以及"加数据""加通用正则"这两档对照。
注意力跑偏:VLA 微调丢掉的那部分感知
一个被忽略的失败模式
论文开篇拿出的证据是一张对比图:π0 与 OpenVLA-OFT 在 VLABench 的选扑克任务上,语言指令是"拿起红桃 A",模型最后抓错了牌。图上把语言 token 查询图像时的注意力按层展开,从 Layer 0 一路到 Layer 17(π0)或 Layer 31(OpenVLA-OFT),最右一列标着 “Wrong Target”。
看这张图的正确方式是看热区的位置,而不是看它有多亮。热区散在桌面、机械臂、背景卡片上,指令点名的那个花色并没有被稳定地圈出来。作者的解读是:这类失败不该全算到动作头头上,主干没有把注意力放到指令指定的物体上,动作头再准也只能开出"看起来合理但目标错了"的轨迹。
需要说清楚的是证据强度。这是一张定性的可视化,论文没有给出"注意力偏移程度"和"成功率"之间的定量相关性,也没有做"把注意力强行挪过去、成功率是否单调上升"的干预实验。它能立住的是"这个失败模式存在",不能立住"它是主要原因"。
三个底座上同一种病
论文选了三个差异很大的底座:π0 是流匹配(flow matching)的动作块生成模型,OpenVLA-OFT 是自回归 token 加优化过的微调配方,π0.5 是拿异构数据预训练过的增强版。三者在 VLABench 的同类任务上都出现了选错目标的情况。
这个选择是有讲究的。如果只在 π0 上发现问题,很容易被解释成"某个流匹配实现的毛病";三个范式都中招,才能支撑"这是微调目标本身的缺口"这个判断。
为什么动作损失救不了它
作者把原因拆成两条,我认为第二条比第一条更有解释力。
第一条是机制层面的:微调阶段没有任何信号指出哪些图像区域对当前任务关键。流匹配或自回归目标只监督动作精度,注意力有没有对齐从未被直接评估或鼓励,于是 VLM 在预训练阶段学到的"能判别性地关注语义区域"的能力,会在微调中逐渐漂移。
第二条是对比层面的:已有工作给的引导要么是间接的,要么与任务无关。CoT-VLA 走视觉思维链,是在整幅场景上做推理,落不到"这一帧该看哪个 patch";π0.5 和 Gemini Robotics 靠开放世界知识,那种知识来自异构数据,不针对当前这条轨迹里被操作的那个物体。
于是论文的立场变成:操作过程本身编码了"什么在视觉上重要"的信息。物理接触的那一刻、末端执行器的轨迹、被操作的那个物体,都指向该看的区域。如果能把这份信息取出来当显式引导,任务相关的视觉感知就有可能在整个微调过程中被保住,而不是被动作学习覆盖掉。

图 1|π0 与 OpenVLA-OFT 在 VLABench 选扑克任务上的注意力图,从左到右为浅层到深层,最右一列标出错误目标:热区散在桌面与背景上,指令点名的花色没有被稳定圈出。
自动:区域从交互瞬间里长出来
这一节回答"自动到底自动在哪"。结论先给:省掉的是人工标注,省不掉的是一个粗略的交互时刻。
交互时刻:唯一还需要的外部信号
论文把交互时刻记作 t_k,定义是"机器人开始与任务相关物体发生物理交互的那个粗略时刻"。来源写得很明确:夹爪状态、接触信号,或者预定义的状态区间。
附录里的两张示意图把实现细节露了出来:VLABench 的"把蜘蛛侠放进礼盒"任务标的是 gripper = -1,RoboTwin 的"按铃"任务标的是 gripper = 0。也就是说,落地时这就是读夹爪通道、过一个阈值事件,不需要人工逐帧标注,也不需要训练一个阶段分类器。
所以"自动"的准确含义是:不需要人画框、不需要人标"哪个是目标物体"、不需要人切分阶段;但你需要一条带夹爪或接触信号的示范轨迹,并且这条轨迹里"手碰到东西"这件事在信号上是可见的。论文在局限里自己承认了这一点,后面会展开。
目标物体:接触前不动,接触后动
判定目标物体的依据是一条物理常识:目标在接触之前基本待着不动,被碰之后才开始位移或形变。
形式化之后就是两个量。在交互前窗口 [t_k-2w, t_k-w] 与交互后窗口 [t_k, t_k+w] 里,分别算相邻帧差分的均值:
d(i,j)pre=1w∑t=tk−2wtk−w∥I(i,j)t+1−I(i,j)t∥2 d^{\mathrm{pre}}_{(i,j)} = \frac{1}{w}\sum_{t=t_k-2w}^{t_k-w} \left\| I^{t+1}_{(i,j)} - I^{t}_{(i,j)} \right\|_2 d(i,j)pre=w1t=tk−2w∑tk−wI(i,j)t+1−I(i,j)t2
d(i,j)post=1w∑t=tktk+w∥I(i,j)t+1−I(i,j)t∥2 d^{\mathrm{post}}_{(i,j)} = \frac{1}{w}\sum_{t=t_k}^{t_k+w} \left\| I^{t+1}_{(i,j)} - I^{t}_{(i,j)} \right\|_2 d(i,j)post=w1t=tk∑tk+wI(i,j)t+1−I(i,j)t2
符号很直白:w 是窗口宽度(实验里取视频帧率),I_t(i,j) 是第 t 帧在 patch (i, j) 上的 RGB 值,两个量都是 patch 级的时间差分强度。
判据是非对称的:d_pre < τ 且 d_post > τ 才算候选目标区域 C_tar。这个非对称性是整套方法里最巧的一笔——它同时排掉了两类干扰。一类是"一直在动"的东西,比如晃动的背景、走来走去的干扰物,它们的 d_pre 也很大,过不了第一道门;另一类是"一直不动"的东西,比如桌面、礼盒,它们 d_post 上不去,过不了第二道门。留下的正好是"原本安静、被碰了才动"的那一小撮 patch。
阈值 τ 取 10,在所有实验里固定。作者说性能对这个取值不敏感,附录里也重复了一遍。窗口宽度 w 取视频帧率——这个选择有点绕,意思是前后各看大约一秒。
轨迹里有多段交互时,做法是在每个交互时刻切分轨迹、各段分别求区域、最后取并集。这一步是为了处理"先放一个再拿一个"这类任务,避免时间上分开的两次物体变化互相污染。
机械臂:全程都在动,所以换一个判据
机械臂不能用上面那套。它全程都在动,d_pre 本来就大,非对称判据会把它整个排除掉。
所以机械臂区域 C_rob 用的是另一条:d_t = ||I^{t+w} - I^t||,d_t > τ 的 patch 归为机械臂候选。判据从"前后对比"退化成"邻帧差分",因为对机械臂来说"动"本身就是身份特征。
这条判据的代价是会误收:画面里任何在动的干扰物都会被收进 C_rob。作者显然知道这一点,所以后面所有的区域都只当软先验用,不当硬标签。
SAM2 只负责铺满时间轴
启发式给出来的东西很不像样:交互帧附近的一小把 patch,帧与帧之间不连续,遮挡处直接断掉,噪声大的地方会飘出零散小块。
补救办法是拿 SAM2 当时序精修工具。流程是:把选中的 patch 转成二值掩码,直接当 mask prompt;目标与机械臂分别提示、分别精修;从被提示的交互帧出发,沿示范轨迹向前后两个方向传播,得到逐帧一致的伪掩码。
这样做的收益有两个。一是抹平帧间抖动,二是把初始提议铺到轨迹的其余部分——包括启发式根本没生效的那些帧。换句话说,启发式只需要在少数几帧上"猜对个大概",剩下的交给传播。
最后一步是映射回 VLA 的 patch 网格:精修后的像素掩码和某个 patch 的重叠比超过 ρ = 0.25,就把这个 patch 算进区域。这一步不能省,因为后面的损失全在 patch 粒度上算。
必须强调一句作者的自我定位:这些掩码不是 ground truth,只是"高召回的粗线索"。整条链路的设计目标不是准,而是"够用且不要钱"。
预处理的账:一次离线,之后不再跑
所有伪掩码在策略训练之前就算好并缓存。训练时直接读缓存,推理时更不会碰 SAM2。
这一点对成本核算很关键:SAM2 的开销是一次性的、与训练轮数无关的,而且不进入部署路径。代价是数据预处理的墙钟时间被拉长了,具体多长论文没写。

图 2|VLABench 的「把蜘蛛侠放进礼盒」任务:上排为候选机械臂区域,中排为原始图像序列(箭头指交互帧),下排是交互前后窗口切出的 pre、tar、pos 三块区域。

图 3|同一套流程搬到 Robotwin 的「按铃」任务:双臂仿真里同样能框出机械臂区域,并在交互时刻前后切出目标区域,说明启发式不依赖某种特定渲染风格。

图 4|整体结构分两段:左边用交互引起的画面变化加 SAM2 时序精修产出候选区域,右边把区域分别送进注意力权重分配与对比学习两个分支,与动作损失一起优化。
两个对齐损失:一个管看够,一个管看对
区域有了,接下来的问题是"怎么用它"。论文的答案是两个互补的出口:一个作用在注意力权重上,管"看够了没有";一个作用在表征空间里,管"看对人了没有"。
语言到图像:软下界,不是硬标签
先把注意力图取出来。用的是 VLM 最后一层、对全部注意力头取平均的那张图:M^l2i 表示语言 token 到图像 patch 的归一化权重,对 N_l 个语言 token 求平均后得到 M^l2i。
然后对该区域内的权重求和,要求它不低于阈值 η1,低于就罚,罚的是平方铰链:
Ll2i=[max(0, η1−∑(i,j)∈CtarMˉ(i,j)l2i)]2 L_{l2i} = \left[ \max\left(0,\ \eta_1 - \sum_{(i,j)\in C_{tar}} \bar{M}^{l2i}_{(i,j)} \right) \right]^2 Ll2i=max0, η1−(i,j)∈Ctar∑Mˉ(i,j)l2i2
η1 取 0.25。式子的意思是:目标区域至少要吃下四分之一的语言到图像注意力,多了不管,少了按缺口大小的平方罚。
为什么是下界而不是"必须集中到这里",这是设计里最值得记一笔的地方。硬约束会把注意力锁死在目标上,牺牲动作学习和 VLM 原有的场景理解;作者只想说"至少看够这么多",剩下的注意力爱去哪去哪。这个"只设地板不设天花板"的选择,和后面超参敏感性实验里"λ1 一大性能就掉"是同一个思路的两面。
状态到图像:把本体位姿锚到画面上
第二条盯的是另一对关系:机器人自己的状态,和画面里自己的身体。
同理,M^s2i 是状态 token 到图像 patch 的归一化注意力,对 C_rob 内的权重求和,低于 η2 = 0.25 就罚,形式与上面完全一致。
动机不难理解:动作生成依赖"我的关节角是多少"和"画面里我的手臂在哪"之间的对应关系。如果状态 token 对图像的注意力散在别处,这个对应关系就只能靠动作损失间接学。
这条约束比第一条更微妙。在 π0 这类模型里,状态被投影成一个 token,它对图像的注意力分布本来就该压在机械臂上;给它加下界,等于逼模型显式建立"状态—本体外观"的映射。后面消融里它的贡献是 −4 个百分点,比语言那条小得多,但方向是稳的。
对比学习:只在接触前算
注意力是权重层面的引导,表征层面还需要一条。作者的观察是:C_tar 天然把交互前的每一帧切成两个语义不同的集合——区域内的 patch 是伪正样本,区域外的是上下文负样本。
做法是均值池化三份表征:语言 token 的均值作锚点 P_lan,C_tar 内 patch 的均值作正样本 P+,区域外 patch 的均值作负样本 P-。然后用余弦相似度做一个二分类式的 InfoNCE,把正样本拉近、负样本推远。
有一个容易被略过的细节:这个损失只在交互发生之前算。理由是那时目标物体可见、被机械臂挡得少,语言和目标的对应关系更干净。反过来,接触之后目标被手盖住,负样本集合里会混进大量机械臂像素,对比信号会被污染。这个取舍很小,但说明作者确实看过失败样本。
总损失与超参:这是一味小剂量调料
三个辅助项和动作损失加在一起:
L=LFM+λ1(Ll2i+Ls2i)+λ2Lcl \mathcal{L} = L_{FM} + \lambda_1\left(L_{l2i} + L_{s2i}\right) + \lambda_2 L_{cl} L=LFM+λ1(Ll2i+Ls2i)+λ2Lcl
λ1 = 0.1,λ2 = 0.01。两个权重差一个数量级,且都很小。这个取值本身就说明了作者的意图:辅助项是"轻微推一把",主目标仍然是流匹配的动作损失。
训练配置照抄各底座原设置:π0 与 π0.5 的 batch size 分别是 32 与 256、都训 30k 步;OpenVLA-OFT 每卡 batch 8、训 50k 步;全部实验在 8 张 NVIDIA H200 上跑完。换句话说,这套方法不改变训练的步数预算,只改变每一步里多算几项损失。
推理时它消失了
这是全文对部署最友好的一句:推理阶段只用微调后的 VLA 策略,不引入任何额外计算,也不增加任何参数。
没有新分支、没有新头、没有新 token 进上下文。你拿到的是一个行为改变了的 checkpoint,接口、时延、显存占用与原来一模一样。
一条轨迹到三个损失:整条链路长什么样
把上面几节拼起来,就是下面这段流程。注意首行的说明:这是按论文正文与附录整理的示意,不是论文原始伪代码。
仅示意,非论文原始伪代码
输入: 示范轨迹 {(I_t, s_t, a_t)}、夹爪/接触信号
超参: w = 视频帧率, τ = 10, η1 = η2 = 0.25, ρ = 0.25, λ1 = 0.1, λ2 = 0.01
# 阶段一:离线生成伪区域(每条轨迹做一次,结果缓存)
1 从夹爪状态或接触信号取交互时刻 t_k(多段交互则取一组)
2 for 每个交互时刻:
3 d_pre ← 窗口 [t_k-2w, t_k-w] 内的相邻帧差分均值
4 d_post ← 窗口 [t_k, t_k+w] 内的相邻帧差分均值
5 C_tar ← { p | d_pre(p) < τ 且 d_post(p) > τ }
6 C_rob ← { p | ||I_{t+w}(p) - I_t(p)|| > τ }
7 把 C_tar / C_rob 的二值掩码当 SAM2 的 mask prompt,沿轨迹前后传播
8 按重叠比 > ρ 把精修后的掩码映射回 VLA 的 patch 网格,写成缓存
# 阶段二:带辅助损失的微调
9 for 每个训练 batch:
10 L_FM ← 流匹配动作损失(原有目标)
11 M̄_l2i, M̄_s2i ← VLM 最后一层注意力,按头平均
12 L_l2i ← [max(0, η1 - Σ_{C_tar} M̄_l2i)]²
13 L_s2i ← [max(0, η2 - Σ_{C_rob} M̄_s2i)]²
14 L_cl ← InfoNCE(语言均值, C_tar 内均值, C_tar 外均值),仅交互前帧
15 L ← L_FM + λ1·(L_l2i + L_s2i) + λ2·L_cl
16 反向传播,更新 VLA 全部参数
# 阶段三:部署
17 只加载微调后的 VLA;无 SAM2、无辅助分支、无额外参数
读这段伪代码时值得停一下的是第 11 行。注意力矩阵在前向里本来就存在,取出来求平均几乎不要钱——前提是你的实现愿意把最后一层的注意力权重暴露出来。这一点决定了这套方法在工程上是"顺手加一行"还是"要改注意力实现",后面讲成本时会再提。
涨了多少、贵在哪:三套评测与训练成本
VLABench:π0 从 0.47 到 0.64
VLABench 是这套方法的主战场。五个任务套件——Chemistry Tube、Fruit、Poker、Toy、Mahjong——每个 500 条示范,每个套件测 50 次,五个任务联合训练一个策略。
| 底座 | 原版平均 | 加 A3-VLA | 论文口径增益 |
|---|---|---|---|
| π0 | 0.47 | 0.64 | +16.4 个百分点 |
| OpenVLA-OFT | 0.16 | 0.40 | +24.0 个百分点 |
| π0.5 | 0.41 | 0.67 | +25.2 个百分点 |
逐任务看 π0 这一行更清楚:Chemistry 0.52→0.82、Fruit 0.60→0.66、Poker 0.54→0.82、Toy 0.40→0.46、Mahjong 0.30→0.42。
涨得最多的三类任务有个共同点:候选物长得太像。Poker 要从一堆花色里挑一张,Mahjong 要从一堆牌里挑一张,Chemistry 要从一排试管里挑一支。这正是"注意力落在哪个 patch 上"决定成败的场景。
反过来,Fruit 和 Toy 只涨了 6 个百分点。论文没有解释这个差异,我倾向于认为这两类任务的物体更容易靠颜色和形状区分,原底座本来就没看错。这只是我的推断,论文没有给证据。
RoboTwin 2.0:双臂任务上增益明显变小
RoboTwin 2.0 是双臂仿真,四个任务——Beat Block Hammer、Click Bell、Move Playingcard Away、Place Burger & Fries——每个任务用官方流水线生成 100 条示范,测 100 次。
| 底座 | 原版平均 | 加 A3-VLA | 增益 |
|---|---|---|---|
| π0 | 0.42 | 0.52 | +9.8 个百分点 |
| OpenVLA-OFT | 0.20 | 0.27 | +7.0 个百分点 |
| π0.5 | 0.58 | 0.65 | +6.5 个百分点 |
增益最大的是 Place Burger & Fries:π0 从 0.12 到 0.26。作者归因于"长程顺序操作更需要看对地方"——这个任务要先放汉堡再放薯条,中间任何一步看错都会连锁。
但我得指出一个不对称:RoboTwin 的绝对增益(6.5 到 9.8 个点)明显小于 VLABench(16.4 到 25.2 个点)。论文没有讨论这个落差。一个可能的解释是 RoboTwin 的任务更偏运动规划、物体辨识难度低,注意力对齐能救的地方本来就少。这是推断,不是论文结论。
真机:厨房五个任务,Select Bottles 从 0.25 到 0.75
真机用的是 Songling 机械臂,厨房场景,五个任务各 80 条示范,每个任务评 20 次。除了成功率还记一个任务进度分:完成算 1,半途失败算 0.5,与指令不符算 0。
| 任务 | π0 | π0.5 | A3-VLA(π0) |
|---|---|---|---|
| Open Cooker | 0.85 | 0.90 | 0.90 |
| Pick & Place Bowl | 0.75 | 0.65 | 0.80 |
| Pick 2 Vegetables | 0.40 | 0.45 | 0.55 |
| Select Bottles | 0.25 | 0.40 | 0.75 |
| Desktop Sweep | 0.50 | 0.70 | 0.80 |
| 平均成功率 | 0.55 | 0.62 | 0.76 |
| 平均任务进度 | 0.67 | 0.73 | 0.87 |
Select Bottles 是全场最大涨幅:0.25 → 0.75。这个任务要求从一排瓶子里挑出指令点名的那一瓶,几乎就是"看错目标"的教科书场景,涨得最多不意外。
同一张表里也有反例:Open Cooker 从 0.85 到 0.90,而 π0.5 本来就有 0.90。也就是说在这个任务上,本文相对最强基线没有优势,只是追平。作者没有单独讨论这一格。
另外注意真机只评测了 A3-VLA(π0) 这一个组合,π0.5 只作为基线出现。想看"在 π0.5 上加本文能到多少"的读者,这篇论文没有答案。
推理侧:什么都没加
没有新增参数,没有新增前向分支,测试时也不跑 SAM2。作者的表述是"推理阶段只用微调后的策略,因此没有额外计算开销"。
对做部署的人来说这条最实在:模型文件大小不变、时延不变、显存不变,行为变了。这类改动在评审会上最容易过。
训练侧:多算三项损失,步数不变
训练侧多出来的是三样东西:从最后一层注意力里取平均、两个平方铰链、一个对比损失。
步数预算没变——π0 与 π0.5 都是 30k 步、batch 32 与 256;OpenVLA-OFT 每卡 batch 8、50k 步。这些都是各底座原本的设置,论文没有为配合新损失而延长训练。
离线侧多一遍 SAM2 预处理:每条示范轨迹跑一次,结果缓存。这一步与训练轮数无关。
论文没给的三个数
想把方法接进现有流水线的人,最想知道三个数,论文一个都没给:
- 训练墙钟时间比原底座多多少
- 峰值显存多多少(注意力权重被取出来做 head 平均,会不会多占一份显存)
- 500 条示范的 SAM2 预处理要跑多久
我的判断——这一条是推断,不是论文内容——第 11 行伪代码可能比看上去贵。很多训练框架默认走 flash-attention 一类不返回注意力权重的实现,要拿到最后一层、按头平均的 M,就得改成分块重算或者换回 eager 注意力。如果真是这样,这一块的训练开销就不是"顺手",而是"要给注意力实现开个口子"。论文没有披露实现细节,这一条只能自己实测。
训练曲线:主损失更低也更稳
论文还给了一组训练过程的对比:同设置下,A3-VLA 的主损失 L_FM 全程低于 π0,而且曲线明显更平滑;π0 的曲线有多个尖峰,最高的一个接近 0.046。
每 5k 步评一次的平均成功率也全程领先:5k 步时两者都在 0.06 附近,10k 步时本文约 0.22、π0 约 0.14,30k 步时约 0.64 对 0.47。作者的解释是辅助目标提供了结构化的视觉 grounding,减少了模型"只能从动作损失里自己找任务相关线索"的负担。
这条解释合理但不可证。更保守的说法是:加了三个辅助项之后优化景观变了,收敛更稳;至于这份稳定是不是来自"视觉 grounding",需要单独设计实验才能分清。

图 5|左为训练中的主损失曲线:π0 有多个接近 0.046 的尖峰,本文全程更低更平滑;右为每 5k 步评测的平均成功率,30k 步时本文约 0.64、π0 约 0.47。
通用技巧还是个例
这是我最想在论文里找到、但只找到一半答案的问题。结论先说:跨底座是真通用,跨任务与跨本体只有有限证据。
三个底座都涨,这是最硬的证据
π0 是流匹配、OpenVLA-OFT 是自回归 token、π0.5 是异构数据预训练,三个范式在两个仿真 benchmark 上全部为正。这一点比"在某个底座上刷到 SOTA"有意义得多——它说明增益不来自某个特定动作头的实现细节。
消融:语言到图像那一路贡献了绝大部分
| 变体 | Chemistry | Fruit | Poker | Toy | Mahjong | 平均 |
|---|---|---|---|---|---|---|
| A3-VLA(π0) | 0.82 | 0.66 | 0.82 | 0.46 | 0.42 | 0.64 |
去掉 L_l2i | 0.62 | 0.60 | 0.60 | 0.42 | 0.34 | 0.52 |
去掉 L_s2i | 0.76 | 0.62 | 0.78 | 0.46 | 0.38 | 0.60 |
去掉 L_cl | 0.78 | 0.66 | 0.80 | 0.40 | 0.40 | 0.61 |
| π0 原版 | 0.52 | 0.60 | 0.54 | 0.40 | 0.30 | 0.47 |
去掉 L_l2i 掉 12 个百分点,去掉 L_s2i 掉 4,去掉 L_cl 掉 3。三个都不为零,说明设计是互补的;但收益的绝大部分来自"把语言注意力摁到目标物体上"这一条。
还有一个容易被忽略、但对判断"是不是真本事"很关键的事实:这套方法一个参数都没加。所以增益不可能是"多了容量"造成的,这一点比很多"加个 adapter 涨点"的工作干净。
不过也要公平地说:论文没有做"加一个等容量的无关辅助头"或"加注意力熵正则"这类对照。所以严格讲,它排除的是"额外参数"这一种解释,没有排除"多任务正则本身就有用"这一种。
换任务、换本体:证据有多硬
任务维度上证据是够的:VLABench 五个套件、RoboTwin 四个任务、真机五个任务,十四类任务全为正。
本体维度上就薄了:仿真里是 VLABench 与 RoboTwin 的机械臂,真机是 Songling 单臂一种硬件。没有换过相机配置,没有换过机械臂型号,没有做人形或灵巧手。
更关键的是实验协议:所有实验都是"每个 benchmark 用自己的示范做微调",没有零样本迁移,也没有跨本体迁移。所以论文能支持的结论是"在有清晰接触事件、单一被操作物体、固定相机的操作任务上有效",而不是"换任何本体都有效"。
超参:剂量小才有效,加大会反噬
三个超参的敏感性曲线很说明问题。
λ1 在 0.1 到 1 之间是一段平台,超过之后开始掉,到 100 时跌到 0.47 附近(这是图上读数,论文只给了趋势描述)。作者的归因是:太粘注意力分配,就会挤占 L_FM 的动作学习。
λ2 趋势相同,0.01 到 0.1 之间最稳,取 0 反而比取 0.01 略低,说明这一项是小幅正贡献。
η1 更微妙:从 0 到 0.25 一路涨,0.25 到 0.5 是峰值区,再往上到 0.9 又回落。作者的解释是阈值太大时模型只盯着目标区域、忽略整幅场景信息。
合起来看,这套方法像一味剂量很小的调料:0.1 的权重、0.25 的阈值,多一点就压过主目标,少一点就没效果。它不是一个"调大就更强"的旋钮。

图 6|三个超参的敏感性:λ1 在 0.1 到 1 之间是平台、到 100 明显下降;λ2 在 0.01 到 0.1 之间最稳;η1 在 0.25 到 0.5 之间最好,取 0 时几乎退回原底座。
可视化:注意力真的挪过去了吗
两张图怎么看
第一组是 VLABench 的"取出 CuCl2 溶液"和真机的"先放辣椒再放胡萝卜",三列分别是 π0、π0.5 和本文,色标 0 到 1。
读法是看热区的位置和形状。π0 的热区弥散,几乎铺满整幅图;π0.5 的热区很集中,但集中在固定的几个 patch 上;本文的热区压在指令点名的那支试管、那根胡萝卜上。
这里有个值得展开的观察:π0.5 并不是"没看目标",而是"看的位置很固定"。作者的原话是它"sticks to specific positions of patches"。如果这个描述准确,那它更像记住了某个空间位置,而不是跟着指令走——这恰好是注意力对齐要治的病。
需要说明,这一段是我的解读,作者只描述了现象,没有做"位置固定 vs 指令驱动"的量化分析。
更多案例:换任务、换纹理之后
第二组图把案例扩到八个:VLABench 四个(含一个加了纹理扰动的)、真机两个、Robotwin 两个。
最有说服力的是真机那一对。前一个案例的指令是"先放辣椒再放胡萝卜",后一个是"先放辣椒再放黄瓜",两张图里除了辣椒之外的热区,从胡萝卜挪到了黄瓜。这个对比直接支持"注意力跟着指令走"而不是"跟着位置走"。
加了纹理扰动的那个案例也值得看:背景换成了没见过的纹理,本文仍然能找到目标物体的区域。这是后面扰动实验的定性版本。

图 7|语言 token 查询图像时的注意力热力图:π0 的热区弥散在整幅图上,π0.5 集中在固定的几个 patch 上,本文压在指令点名的目标物体上。

图 8|八个案例的注意力对比:VLABench 四例(含一例加纹理扰动)、真机两例、Robotwin 两例。真机那对案例里,除辣椒外的热区从胡萝卜挪到了黄瓜。
局限与失效场景
目标太小、被挡住、与背景同色
作者自己列了四种会让伪区域退化的情况:目标被完全遮挡;目标与背景在视觉上难以区分;目标太小,patch 级的变化不可靠;目标与干扰物一起移动。
这四条都指向同一个失效链条:差分判据拿不到干净信号 → 伪区域要么漏要么糊 → 辅助损失给出的引导变弱甚至变噪 → 最坏情况下等于往训练里加噪声。
其中"太小"最值得警惕。整套判据都在 patch 粒度上做,物体如果小于一个 patch,它的位移在差分图上几乎不可见。VLA 常用的视觉编码器 patch 尺寸在十几个像素量级,这意味着画面里那些"远处的小瓶子"很可能整条链路都覆盖不到。这一句里的 patch 尺寸是我的常识补充,论文没有给具体数值。
交互时刻这个假设
第二条局限更结构性:当前实现假设能拿到一个粗略的交互时刻,来源是夹爪状态、接触信号或预定义的状态区间。作者承认,没有明确交互事件的复杂本体或任务,需要更鲁棒的交互发现机制。
这是方法真正的边界。如果任务里"手碰到东西"这件事不明显——比如推、倒、持续接触、用工具间接操作——第一步就空了,后面所有环节都无从谈起。而这个假设在论文的实验里恰好全部成立:三个 benchmark 的任务都有清晰的抓取或点击动作。
依赖 SAM2 的质量与一遍预处理
伪掩码的质量受分割模型影响;预处理时间被拉长;论文没有量化这部分开销。
作者在局限里把这条和上一条并列,并在未来工作里提了三个方向:伪区域的不确定性加权、更鲁棒的交互引导区域发现、不依赖外部精修工具的端到端感知引导。换句话说,这三个方向就是作者自己认为还没解决的地方。
纹理扰动:涨点没有消除泛化差距
| 设置 | Chemistry | Fruit | Poker | Toy | Mahjong | 平均 |
|---|---|---|---|---|---|---|
| π0.5 | 0.30 | 0.42 | 0.64 | 0.32 | 0.40 | 0.41 |
| π0.5 + 纹理扰动 | 0.18 | 0.04 | 0.20 | 0.26 | 0.20 | 0.18 |
| π0.5 + 高斯噪声 | 0.26 | 0.24 | 0.60 | 0.26 | 0.30 | 0.33 |
| A3-VLA(π0.5) | 0.74 | 0.50 | 1.00 | 0.42 | 0.68 | 0.67 |
| + 纹理扰动 | 0.60 | 0.10 | 0.66 | 0.30 | 0.46 | 0.42 |
| + 高斯噪声 | 0.62 | 0.32 | 0.94 | 0.36 | 0.60 | 0.57 |
这张表有两种读法,两种都该说。
乐观的读法:扰动之下本文始终领先 π0.5 二十多个百分点。纹理扰动下 0.42 对 0.18,高斯噪声下 0.57 对 0.33。高斯噪声的标准差是 10/255,不算强扰动但也不是可以忽略的量级。
不那么乐观的读法:绝对跌幅本文并不更小,甚至略大。纹理扰动下 π0.5 掉 0.23、本文掉 0.25;高斯噪声下 π0.5 掉 0.08、本文掉 0.10。相对跌幅倒是小很多(−37% 对 −56%),但那是因为起点高。
所以准确的说法是:注意力对齐抬高了扰动下的绝对水位,但没有改变"纹理一变就崩"这个性质。最刺眼的两格是 Fruit 从 0.50 掉到 0.10、Poker 从 1.00 掉到 0.66——后者尤其值得注意,因为 Poker 恰好是干净条件下本文最强的那一档(π0.5 底座上拿到 1.00)。
论文没报告的东西
- 没有"加更多数据"的对照。想回答"这份涨点是不是等价于多标了 30% 数据",这篇论文答不了。
- 没有"加通用正则"的对照,比如注意力熵正则、更强 dropout、视觉分支更强的数据增强。
- 没有训练墙钟、显存峰值、SAM2 预处理耗时。
- 真机只有一个底座、一种机械臂;VLABench 每套只测 50 次,没有置信区间,也没有多种子方差。
- 主损失曲线的对比只在 π0 一个底座上做了,π0.5 与 OpenVLA-OFT 没有对应的训练曲线。

图 9|纹理扰动(左,换没见过的桌面纹理)与高斯噪声扰动(右,标准差 10/255)下的执行过程:上排 π0.5 抓错或中途停住,下排 A3-VLA(π0.5)仍能完成。
落地判断
什么团队值得试
- 已经在微调 π0、OpenVLA-OFT、π0.5 一类 VLA,且失败案例集中在"选错目标、抓错物体"的团队。这套方法正好打这个点,而且消融显示收益的绝大部分来自语言注意力那一路。
- 有示范轨迹、有夹爪或接触信号通道、能接受一遍离线预处理的团队。预处理是一次性的,不进部署路径。
- 任务里存在清晰接触事件,且被操作物体在画面里不算小。这是方法成立的前提,不是可以调参绕过的。
- 推理预算已经被压到极限、但训练预算还有余量的团队。这套方法的所有代价都在训练侧。
什么情况下别碰
- 目标经常被遮挡,或者与背景在颜色纹理上几乎一样。伪区域会退化,辅助损失可能变成噪声源。
- 没有夹爪或接触信号,任务里"手碰到东西"这件事不明显(推、倒、擦、用工具间接操作)。第一步就断了。
- 训练预算也卡死,且不愿意为注意力权重改训练框架。论文没给训练开销数字,你得自己测,而我怀疑它比看上去贵。
- 想要"不动训练流程、只换推理"的方案。这套要改损失函数,不是后处理。
一条最小验证路径
如果想在自己的数据上验一遍,我建议按这个顺序,每步都能独立否决:
- 先在 20 到 50 条轨迹上手工检查伪区域。如果
C_tar经常盖住整张桌面、或者根本没盖住目标,后面所有步骤都别做。 - 只加
L_l2i(λ1 = 0.1、η1 = 0.25)跑一版,与原底座同设置对比。这一项单独贡献 −12 个百分点,是性价比最高的一步。 - 抽 20 帧把
M̄_l2i画出来,确认热区真的落在指令点名的物体上。这一步是防"涨点了但机制不是论文说的那回事"。 - 确认有效后再加
L_s2i与L_cl。分别 −4 与 −3 个百分点,边际收益小,按预算决定要不要。 - 重点在"目标相似度高"的任务上验证(Poker、Select Bottles 这类)。收益集中在那里,别拿 Open Cooker 这种原底座已经 0.85 的任务来判断方法有没有用。
术语速查表
| 术语 | 原文 | 一句话解释 |
|---|---|---|
| VLA | Vision-Language-Action Model | 把视觉观测和语言指令直接映射成动作序列的模型 |
| 流匹配 | flow matching | π0 采用的动作生成范式,学一个从噪声到动作块的速度场 |
| 动作块 | action chunk | 一次前向预测出的未来若干步动作,长度记作 H |
| 交互时刻 | interaction timestep, t_k | 机器人与目标物体开始发生物理交互的粗略时刻,来自夹爪或接触信号 |
| 伪区域 | pseudo region | 由启发式加 SAM2 精修得到的候选区域,不是真值标注 |
C_tar | candidate target regions | 目标物体的候选 patch 集合 |
C_rob | candidate robot regions | 机械臂的候选 patch 集合 |
M^l2i | language-to-image attention | 语言 token 查询图像 patch 的归一化注意力权重 |
M^s2i | state-to-image attention | 状态 token 查询图像 patch 的归一化注意力权重 |
η1 / η2 | attention threshold | 目标区域与机械臂区域要求的最低注意力占比,均取 0.25 |
L_cl | contrastive loss | 把目标区域表征拉近指令、把背景推远的对比损失 |
| SAM2 | Segment Anything Model 2 | 用作离线时序精修工具,把交互帧的种子掩码铺满整条轨迹 |
| 纹理扰动 | texture perturbation, TP | 把场景换成未见过的纹理,测泛化 |
| 噪声扰动 | noise perturbation, NP | 给输入图像加高斯噪声,标准差 10/255 |
| 任务进度 | task progress, TP | 真机评分:完成 1、半途失败 0.5、与指令不符 0 |
| VLABench | — | 五个任务套件、每套 500 条示范的仿真基准 |
| RoboTwin 2.0 | — | 双臂仿真基准,本文用了其中四个任务 |
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)