论文地址:PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models
项目主页:https://priorvla.github.io/
关键词:VLA、π0.5、Prior Preservation、Dual Action Experts、Expert Queries、Flow Matching、Few-shot、OOD

1. 核心分析

PriorVLA 不试图从头训练一个新的机器人基础模型,而是解决 VLA 预训练模型在下游任务微调时,容易遗忘原有能力的问题。

一个经过海量数据预训练的 VLA,已经学到大量通用场景理解和动作生成知识。但如果只拿几十条机器人演示数据去进行 Full Fine-Tuning(全参数微调),模型可能过度适应有限的物体外观、桌面布局和动作轨迹。训练场景里表现不错,换个光照、背景或物体位置,成功率就下降。

PriorVLA 的办法很直接:

  1. 保留一个冻结的 Prior Expert(先验专家),让原本学到的动作知识不被覆盖。
  2. 训练一个 Adaptation Expert(适配专家),让它真正学习当前任务。
  3. 设计三种 Expert Queries,把 VLM 的场景先验和冻结动作专家的运动先验读出来,送给适配专家用于生成动作。

在这里插入图片描述
一句话:不要只把预训练模型当作微调初始化;要把预训练知识作为下游动作生成时仍然可读取的资源。

1.1 最重要的实验结果

在这里插入图片描述

图 1:PriorVLA 的关键实验结果。百分比表示成功率;“+11”等表示提升百分点,而不是相对百分比。

数据集 / 设置π0.5PriorVLA提升
RoboTwin 2.0 Easy / ID,标准数据67%77%+10 个百分点
RoboTwin 2.0 Hard / OOD,标准数据42%53%+11 个百分点
LIBERO 平均成功率96.9%99.1%+2.2 个百分点
真实机器人 ID,标准数据69%81%+12 个百分点
真实机器人 OOD,标准数据41%57%+16 个百分点
真实机器人 ID,10 条演示/任务24%48%+24 个百分点
真实机器人 OOD,10 条演示/任务10%32%+22 个百分点

此外,PriorVLA 更新的参数数量约为 Full Fine-Tuning 的 25%。但这里需要区分:可训练参数更少 ≠ 总模型参数更少 ≠ 推理耗时减少 75%。推理时仍需执行冻结的 Prior Expert,存在额外计算开销。

阅读路线:先理解“为什么要保留先验”,再看双动作专家(DAE)、三种 Query(EQ)、Attention Mask,最后看训练细节、消融和真实机器人实验。


2. 为什么传统 Full Fine-Tuning 会损害泛化?

2.1 预训练 VLA 中有什么知识?

论文使用的是 π0.5 风格的 VLA 主干,其主要部分包括:

  • VLM(Vision-Language Model):处理多视角图像、语言指令与相关条件,学习语义和场景表示。
  • AE(Action Expert):以噪声动作块为输入,借助 Flow Matching 逐步生成连续机器人动作。

作者将预训练知识分为两类:

知识类型来源含义
Scene Priors(场景先验)预训练 VLM物体、视觉场景结构、与语言任务有关的表示
Motor Priors(运动先验)预训练 AE在大量机器人动作数据上形成的动作生成规律

注意:这里的“先验”不是手工写的规则、明确的 3D 物体图谱或一个单独的动作数据库,而是模型前向传播时的隐藏表征。论文希望将这些隐藏表征保留下来,并设计一个可学习的接口,让适配模型能使用它们。

2.2 举例:为什么 10 条演示可能不够?

假设预训练 VLA 在很多房间中学过抓取。现在需要它学会“把杯子放入架子”,仅提供 10 条演示:训练画面恰巧都是明亮桌面、固定高度、固定杯子位置。全参数微调可能把模型拉向这些狭窄样本的统计模式,最终对训练条件依赖过强。

测试时把灯关暗、换背景、调整杯子位置,即使机器人此前已经学过相关的视觉和运动知识,它也可能无法稳定调用。

这就是作者关注的 Prior Forgetting(先验遗忘)。严格地说,论文用性能和定性 VQA 证据支持这一解释,而不是逐层直接证明某种具体神经元知识完全被“删除”。

2.3 论文的目标

PriorVLA 要兼顾两个看似冲突的要求:

  • 保留:预训练 VLM 和动作专家已有的通用能力不要轻易被破坏。
  • 适配:下游动作策略必须能根据新任务的数据产生针对性的动作。

只冻结所有模块,模型就缺少适配能力;只训练所有模块,又可能造成先验偏移。论文因此把“知识来源”和“任务学习”分为不同路径。


3. 总体架构:Dual Action Experts + Expert Queries

3.1 简化版流程图

在这里插入图片描述

图 3:简化的双专家流程。此图是帮助理解的概念示意,并不表示两条动作分支依次运行;实际上它们在每个去噪步骤读取同一个当前噪声动作块。

可以把三个关键部分理解为:

第一步:从预训练 VLM 读场景信息。 Scene Query 通过注意力机制提取任务相关场景特征。

第二步:从冻结 PE 读运动信息。 PE 跟随当前动作去噪过程运行,但本身不决定下一个去噪状态;Motor Query 从其中读出运动表征。

第三步:在 AE 内融合。 Action Query 和 AE 的噪声动作 Token 可读取 Scene/Motor Query 特征,AE 输出当前去噪方向并产生最终 Action Chunk。

重要区分:双专家不是两个动作策略投票,也不是把两个最终动作做平均。 PE 提供特征,AE 提供控制动作。


论文架构图:
在这里插入图片描述

图 2:用户提供的论文架构图,对应原论文 Figure 2。红色火焰标记表示训练,蓝色雪花表示冻结。

从图中可以看到,系统核心并不复杂:

  • 前端仍然是预训练的 VLM:视觉编码器处理图像,文本 Tokenizer 处理指令。
  • 动作侧从一个 AE 拆成两个:冻结的 Prior Expert 和可训练的 Adaptation Expert。
  • 中间增设三组 Query:Scene Query、Motor Query、Action Query。
  • 最终动作只来自 Adaptation Expert。

4. 核心创新一:Dual Action Experts(双动作专家)

4.1 如何从一个 AE 变成两个专家?

传统适配过程可以写成:

Pretrained Action Expert
          │
     Full Fine-Tuning
          ↓
Task-specific Action Expert

PriorVLA 改为:

                Pretrained Action Expert
                         │
               复制相同预训练权重
                   ┌─────┴─────┐
                   ↓           ↓
             Prior Expert   Adaptation Expert
                冻结            可训练
                   │           ↑
                 Motor Query ───┘
                   提供先验      输出动作

两者从 相同预训练权重 初始化,但训练职责不同。

Prior Expert(PE)Adaptation Expert(AE)
初始化预训练 AE 权重同样的预训练 AE 权重
是否更新不更新更新
输入当前带噪声动作、相关条件同一个当前带噪声动作、相关条件
输出用途中间隐藏表征供 MQ 读取负责去噪更新和最终动作
是否直接参与动作损失否是

4.2 两个专家怎样同步去噪?

VLA 策略根据观测和状态预测未来长度为 (H) 的动作块。论文公式(1):

a ^ t : t + H − 1 = π θ ( a ~ t : t + H − 1 , o t , l , s t ) \hat{a}_{t:t+H-1} =\pi_\theta(\tilde{a}_{t:t+H-1},o_t,l,s_t) a^t:t+H−1​=πθ​(a~t:t+H−1​,ot​,l,st​)

其中:

  • oₜ:视觉观测;
  • l:语言指令;
  • sₜ:机器人本体状态;
  • 带噪动作序列 ãₜ:ₜ₊H₋₁:噪声动作块;
  • H:动作序列长度(Action Horizon)。

在去噪步骤 τ,两个专家收到同一个噪声动作块:

a ~ P E τ = a ~ A d a τ = a ~ τ \tilde a^\tau_{\mathrm{PE}}=\tilde a^\tau_{\mathrm{Ada}}=\tilde a^\tau a~PEτ​=a~Adaτ​=a~τ

只有 AE 的预测用于更新动作轨迹。原论文公式(2):

a ~ τ + 1 = F M ( a ~ τ , f A d a τ ) \boxed{\tilde a^{\tau+1}=\mathrm{FM}\left(\tilde a^\tau,f^\tau_{\mathrm{Ada}}\right)} a~τ+1=FM(a~τ,fAdaτ​)​

f_Ada(第 τ 步) 表示 AE 当前去噪输出,FM(·) 表示对应的 Flow Matching 更新算子。

然后,更新后的动作块再次同时送入 PE 与 AE。PE 伴随同一条轨迹计算其内部特征,自己的去噪输出则直接丢弃。

这一机制的关键优势是:AE 既可以针对新任务改变动作轨迹,又能在每个去噪步骤读取保留下来的运动表征。

4.3 为什么不直接复制 PE 的动作特征?

论文附录 A.4 提到一个重要实现观察:让 AE 直接访问 PE 的原始噪声动作隐藏状态,会降低训练稳定性。因此作者通过 Motor Query 的 Key/Value 缓存来传递信息,而不是让 AE 直接注意 PE 所有原始动作 Token。

换句话说:不能仅仅“冻结一个老师”,还需要“设计一个合适的知识读取接口”。


5. 核心创新二:Expert Queries(三类专家查询)

在这里插入图片描述

图 4:Scene Query 与 Motor Query 读取两种先验,Action Query 在 AE 中融合。此图仅表达主要信息流,不代表训练了独立的场景或运动监督任务。

Query所属位置主要读取对象作用
SQ / Scene QueryVLM原始 VLM Token捕获场景先验
MQ / Motor Query冻结 PEPE 动作 Token捕获运动先验
AQ / Action Query可训练 AEVLM、SQ、MQ 和 AE 内部 Token融合多源先验

5.1 Scene Query:怎么读出场景先验?

Scene Queries 是附加到 VLM 输入序列的可学习 Token。它们通过 VLM 的自注意力读取原始视觉语言 Token。

论文公式(3):

h s q l + 1 = Attn ⁡ ( Q s q l , K o b s l ∥ K s q l , V o b s l ∥ V s q l ) \boxed{ h_{\mathrm{sq}}^{l+1} =\operatorname{Attn}\left( Q_{\mathrm{sq}}^{l}, K_{\mathrm{obs}}^{l}\Vert K_{\mathrm{sq}}^{l}, V_{\mathrm{obs}}^{l}\Vert V_{\mathrm{sq}}^{l} \right) } hsql+1​=Attn(Qsql​,Kobsl​∥Ksql​,Vobsl​∥Vsql​)​

这里:

  • l l l 为 Transformer 层索引;
  • ∥ \Vert ∥ 表示沿 Token 维度拼接;
  • h s q l + 1 h_{\mathrm{sq}}^{l+1} hsql+1​ 是 SQ 的隐藏状态。

直觉:SQ 相当于一组专门用来“提取场景重点”的可学习查询向量。它们并不需要生成一段文字,而是产生能够供动作专家读取的中间特征。

SQ 的逐层 Key/Value 缓存会作为场景先验接口供 AE 使用。

不要误解:论文没有把 SQ 单独训练成目标检测器、3D 场景图模块或可解释的场景语义标签。这里所谓“场景先验”仍是网络特征。

5.2 Motor Query:从冻结 PE 读取动作先验

MQ 追加在冻结 PE 的计算路径中。MQ 可以读 PE,PE 的原始噪声动作 Token 却不能反向读 MQ。

PE 原始动作路径按论文公式(4)计算:

h a ~ p e l + 1 = Attn ⁡ ( Q a ~ p e l , K o b s l ∥ K a ~ p e l , V o b s l ∥ V a ~ p e l ) h_{\tilde a_{\mathrm{pe}}}^{l+1} =\operatorname{Attn}\left( Q_{\tilde a_{\mathrm{pe}}}^{l}, K_{\mathrm{obs}}^{l}\Vert K_{\tilde a_{\mathrm{pe}}}^{l}, V_{\mathrm{obs}}^{l}\Vert V_{\tilde a_{\mathrm{pe}}}^{l} \right) ha~pe​l+1​=Attn(Qa~pe​l​,Kobsl​∥Ka~pe​l​,Vobsl​∥Va~pe​l​)

MQ 则按公式(5)计算:

h m q l + 1 = Attn ⁡ ( Q m q l , K m q l ∥ K a ~ p e l , V m q l ∥ V a ~ p e l ) \boxed{ h_{\mathrm{mq}}^{l+1} =\operatorname{Attn}\left( Q_{\mathrm{mq}}^{l}, K_{\mathrm{mq}}^{l}\Vert K_{\tilde a_{\mathrm{pe}}}^{l}, V_{\mathrm{mq}}^{l}\Vert V_{\tilde a_{\mathrm{pe}}}^{l} \right) } hmql+1​=Attn(Qmql​,Kmql​∥Ka~pe​l​,Vmql​∥Va~pe​l​)​

因此 PE 原有动作路径基本保持原样,而 MQ 作为新增的“旁路读出器”提取中间运动表征。

更细的工程处理见论文附录 A.4:MQ 也不直接读取 VLM Prefix / SQ。因为 VLM Token 数量远大于 PE 动作 Token,若开放直接读取,MQ 的注意力可能被大量场景特征主导,无法专注运动侧信息。

5.3 Action Query:融合不同来源的知识

AQ 处于可训练 AE 中,与 AE 噪声动作 Token 在相同的适配块里双向交互。

令 z 表示 AQ 与 AE 噪声动作 Token 的组合,原论文公式(6)可紧凑记成:

h z l + 1 = Attn ⁡ ( Q z l , K z l ∥ K o b s l ∥ K s q l ∥ K m q l , V z l ∥ V o b s l ∥ V s q l ∥ V m q l ) h_z^{l+1}=\operatorname{Attn}\left( Q_z^l, K_z^l\Vert K_{\mathrm{obs}}^l\Vert K_{\mathrm{sq}}^l\Vert K_{\mathrm{mq}}^l, V_z^l\Vert V_{\mathrm{obs}}^l\Vert V_{\mathrm{sq}}^l\Vert V_{\mathrm{mq}}^l \right) hzl+1​=Attn(Qzl​,Kzl​∥Kobsl​∥Ksql​∥Kmql​,Vzl​∥Vobsl​∥Vsql​∥Vmql​)

这表示 AQ / AE 动作 Token 可以同时读取:

  1. 原始 VLM 表征;
  2. SQ 提取的场景先验;
  3. MQ 提取的运动先验;
  4. AE 自身当前去噪表示。

但 PE 原始噪声动作 Token 不直接暴露给 AE,运动信息必须经过 MQ 接口。

AQ 自己不解码为动作;最终动作来自 AE 的噪声动作路径。


6. Attention Mask:论文最关键的工程设计

光是往 Transformer 增加 Query Token,还不能保证“该读的读、不该改的不改”。PriorVLA 使用分块 Attention Mask控制信息方向。

在这里插入图片描述

图 5:Attention Mask 解读图。纵轴为读取方(Query),横轴为被读取方(Key/Value);橙色表示允许注意力。

再对照论文原始 Figure 3:

在这里插入图片描述

图 6:论文 Figure 3 的注意力矩阵及 Pretrain / Capture / Integrate 信息流。

6.1 六组 Token 分别是什么?

符号Token 组所在模块
OBS原始视觉语言输入 TokenVLM
SQScene QueriesVLM
N1Prior Expert 噪声动作 TokenPE
MQMotor QueriesPE
AQAction QueriesAE
N2Adaptation Expert 噪声动作 TokenAE

用矩阵方式概括论文的访问限制:

读取方 \ 被读取方OBSSQN1MQAQN2
OBS✓—————
SQ✓✓————
N1✓—✓———
MQ——✓✓——
AQ✓✓—✓✓✓
N2✓✓—✓✓✓

6.2 需要记住的三条约束

约束一:OBS 不读取后面的 Query。 原始 VLM 路径不会被新插入的 Query 反向影响。

约束二:N1 不读取 SQ / MQ / AQ / N2。 冻结 PE 原有的去噪路径保持独立,MQ 只能单向提取 PE 运动信息。

约束三:AQ / N2 可以读取 SQ 和 MQ,但不能直接读取 N1。 AE 能融合先验,但不会直接复制冻结动作专家的全部原始动作状态。

这个 Mask 设计解释了 PriorVLA 方法上的重要区别:先验保留不仅依靠参数冻结,还依靠信息流隔离。


7. 模型训练:到底哪些参数更新?

PriorVLA 基于 π0.5 风格的主干:SigLIP 风格视觉编码器 + Gemma-2B 语言骨干 + Gemma-300M 风格动作专家(论文附录 A.1)。

模块参数是否更新说明
VLM Vision Encoder✓适应下游视觉观测
VLM 其他参数(包括语言骨干)✗保留主体视觉语言表征
Prior Expert✗稳定的预训练运动先验来源
Adaptation Expert✓预测动作去噪方向
Scene / Motor / Action Queries✓学习读取与融合先验

总可训练参数约为全参数微调的 25%。

7.1 并没有增加“知识蒸馏损失”

论文用的是标准 Flow Matching Mean Squared Error(MSE)。损失仅施加于 AE 的去噪预测。

为说明其形式,使用 Flow Matching 的通常记号,可以写成:

L F M = E [ ∥ f θ ( a ~ τ , o t , l , s t ) − u τ ∥ 2 2 ] \mathcal L_{\mathrm{FM}} =\mathbb E\left[\left\|f_{\theta}(\tilde a^{\tau},o_t,l,s_t)-u^{\tau}\right\|_2^2\right] LFM​=E[∥fθ​(a~τ,ot​,l,st​)−uτ∥22​]

这里 (u^\tau) 表示目标流场。这是对标准 Flow Matching 训练目标的技术性记号整理,并非论文新提出的额外损失函数。

论文明确说明:

  • PE 的最终去噪预测在训练和推理阶段均被丢弃;
  • PE 不参与损失;
  • 三种 Queries 没有单独的辅助损失;
  • 所有可训练部分统一由下游动作目标监督。

换句话说,PriorVLA 最主要的创新是前向结构和注意力机制,而不是新增复杂的监督标签。

7.2 训练超参数和硬件配置

配置RoboTwin 2.0LIBERO真实机器人
训练粒度每任务单模型每 Suite 单模型每任务单模型
Steps30k30k30k
Global Batch Size3225632
Action Horizon (H)501050
Warmup1k10k1k
Peak LR2.5e-55.0e-52.5e-5
EMA0.990.9990.99

更详细的配置:

  • 优化器 AdamW,global-norm 梯度裁剪为 1.0;
  • 视觉输入分辨率 224×224;
  • Queries 使用分组学习率倍率:SQ ×2、MQ ×4、AQ ×4、其余可训练参数 ×1;
  • 冻结参数以 bfloat16 存储,训练参数以 float32 优化;
  • RoboTwin 2.0 使用 8×H20 96GB,LIBERO 和真实机器人使用 8×A100 80GB 进行主实验。

这也提醒我们:可训练参数比例较小,并不意味着所需 GPU 很少。


8. 实验详解:泛化性能真的提高了吗?

8.1 RoboTwin 2.0:Easy 是 ID,Hard 是 OOD

RoboTwin 2.0 在 Aloha-AgileX 双臂平台上验证。论文使用 13 项任务(不是全部 50 项),标准训练每任务 50 条干净演示数据,每种评估设置每任务 300 次 rollout。

Easy/Hard 的区别在于域随机化,Hard 中加入背景、桌面杂物、光照和桌面高度扰动;机器人与相机配置不变。

方法Easy / IDHard / OOD
Diffusion Policy36%0%
RDT44%17%
π062%22%
π0.567%42%
PriorVLA77%53%

标准设置下,PriorVLA 对 π0.5 的平均提升为 Easy +10、Hard +11 个百分点。

但并非所有任务都提升。 例如 Stack Blocks Two 的 Hard 成功率从 24% 降至 17%,Put Object Cabinet 从 53% 降至 45%。论文的证据支持“整体平均及多数任务更好”,不是“每项任务都更好”。

8.2 数据量实验:先验保留在少样本与 OOD 下更有效

数据规模π0.5 EasyPriorVLA Easyπ0.5 HardPriorVLA Hard
Few-shot(10 条/任务)29%41%20%31%
Standard(50 条/任务)67%77%42%53%
Large(250 条/任务)89%88%59%65%

值得注意:

  • 少样本 Easy:+12 个百分点;Hard:+11 个百分点;
  • 大数据 Easy:PriorVLA 略低 1 个百分点;
  • 大数据 Hard:PriorVLA 仍高出 6 个百分点。

解读:随着训练演示数量增加,特定数据分布内(ID)的性能优势可能缩小;而 OOD 情况下,冻结先验仍表现出价值。这是作者关于“保留预训练知识而非仅用作初始化”的重要支撑。

8.3 LIBERO:平均成功率 99.1%

方法SpatialObjectGoalLongAvg.
GR00T-N194.497.693.090.693.9
π096.898.895.885.294.1
π0.598.898.298.092.496.9
OpenVLA-OFT97.698.497.994.597.1
PriorVLA99.499.899.497.699.1

其中 LIBERO-Long 从 92.4% 提升到 97.6%,相比其他 Suite 增幅更大。不过 LIBERO 已是成功率接近饱和的基准,所以不能仅凭 99.1% 得出开放世界泛化能力已解决的结论。

8.4 真实机器人:Franka 单臂与 AC-One 双臂

在这里插入图片描述

图 7:原论文 Figure 5,Franka 使用第三人称与腕部 D435;AC-One 使用顶部 D435 与左右臂 D405。

实验包含八个任务:Place Ring、Insert Peg、Pick Object、Stack Blocks、Stack Bowls、Sweep Blocks、Arrange Cups、Hang Towel。

真实 OOD 评估同时改变四项因素:光照变暗、背景出现干扰物、目标物体初始位置变化、桌面高度上升 2 cm。

训练数据测试π0.5PriorVLA提升
Standard(100–300 条/任务)ID69%81%+12 pp
Standard(100–300 条/任务)OOD41%57%+16 pp
Few-shot(10 条/任务)ID24%48%+24 pp
Few-shot(10 条/任务)OOD10%32%+22 pp

真实机器人每任务分别进行 20 次 ID 与 20 次 OOD 测试。控制采用长度为 50 的动作块,每次执行前 15 个动作,然后重新感知并生成下一段动作。

值得重视的边界:真实 Few-shot / OOD 从 10% 提升到 32% 是明显改善,但 32% 仍不足以说明系统可以在任意陌生环境可靠部署。


9. 消融实验:哪个模块真正有用?

消融实验选用 RoboTwin 2.0 的 6 个任务子集,不能与上面的 13 任务平均结果直接混为一谈。完整 PriorVLA 在此子集上得到 Easy 77%、Hard 49%。

9.1 Prior Expert 消融

变体EasyHard
无 PE 到 AE 的先验路径75%42%
随机初始化、冻结 PE75%43%
PE 也可训练73%44%
完整 PriorVLA77%49%

结论:

  • 去掉 PE 路径,Hard 降 7 个百分点;
  • 用随机冻结分支代替预训练 PE,并不能达到完整效果;
  • 连 PE 一起训练,结果也不如冻结。

这支持作者的解释:收益来自可读取且稳定的预训练运动先验,而不仅是模型多了一条分支。

9.2 三种 Queries 消融

变体EasyHard相对完整模型的 Hard 下降
移除所有 SQ/MQ/AQ61%28%-21 pp
移除 SQ70%30%-19 pp
移除 MQ75%42%-7 pp
移除 AQ71%43%-6 pp
完整 PriorVLA77%49%—

最显著的单项下降来自 Scene Queries:移除 SQ 使 Hard 从 49% 降到 30%。也就是说,场景先验的读取对于这组 OOD 操作任务格外重要。

注意这些数字只能说明“对应模块被移除后的模型性能变化”,不能直接当成 SQ、MQ、AQ 所贡献性能的可相加分解。

此外,消融中冻结视觉编码器会使 Hard 降到 37%,说明场景视觉适配与保留 VLM 主干先验是互补的。


10. VQA 对比:模型还记得原本的视觉语言能力吗?

在这里插入图片描述

图 8:论文 Figure 11,比较预训练模型、全参数微调与 PriorVLA 的定性 VQA 结果。

作者补充了六组定性测试,包括:

  • 识别猫;
  • 识别数字 2;
  • 统计蓝色积木数量;
  • 描述室内场景;
  • 判断叠碗时下一步操作;
  • 判断操作瓶子时下一子任务。

原始预训练模型与 PriorVLA 均能给出有意义的回答;作者报告的 Full Fine-Tuning 输出则在这些示例中出现乱码或无语义回答。

这为“预训练视觉语言能力被更好保留”提供了定性支持。

有两个重要限定:

  1. 这是少量定性 VQA Probe,不是完整 VQA 基准,也没有大规模定量指标。
  2. 测试期间关闭了 Scene Queries,让不同模型沿共享的 VLM 路径进行比较。因此该实验不是直接测试 SQ 的 VQA 能力。

所以更准确的说法是:PriorVLA 在这些示例中更好保留了预训练的视觉语言回答能力;尚不能据此证明其完整保存了所有预训练知识。


11. 论文优势与局限:如何客观评价?

11.1 方法的实际价值

(1)提供了一种明确的预训练先验复用方式。 相比只限制微调参数量,它尝试让先验在每一次动作去噪中真正被读取。

(2)结构设计和消融形成了相对完整的证据链。 随机 PE、可训练 PE、移除 PE、移除各类 Query 等实验,能排除一部分“只是堆参数”式解释。

(3)提升集中在更有挑战的设置。 不只是 LIBERO 等常规基准,RoboTwin Hard 与真实少样本 OOD 也观察到提升。

11.2 作者明确承认的局限

局限一:RoboTwin 仅评估 13/50 个任务。 因为每个任务都要训练独立模型,未覆盖全部 Benchmark。

局限二:真实 OOD 扰动没有拆开单独评价。 光照、背景、物体位置和桌面高度共同改变,不能判断每个因素各自对成功率的影响。

局限三:推理存在额外开销。 冻结 PE 在去噪时仍然运行,即使它不输出最终动作。

局限四:内部知识机制仍缺少细粒度分析。 作者尚未完全解释不同层、不同去噪步骤中,场景先验和运动先验的具体交互与演变。

11.3 从实验范围进一步理解的边界

  • 不等于统一多任务模型:RoboTwin 和真实任务主要采用每任务单模型,LIBERO 为每 Suite 单模型。
  • 不等于开放世界操作已经解决:真实实验在受控实验室完成,OOD 变化范围有限。
  • 不等于所有任务提高:部分 RoboTwin 单项实验出现下降。
  • 不等于适合任何实时部署平台:论文没有给出充分的端到端推理延迟、吞吐和边缘部署对比。

11.4 与 LoRA 等参数高效方法的区别

LoRA 等方法的核心问题通常是“怎样用更少的可训练参数完成适配”;PriorVLA 更关心“怎样在适配后的动作生成过程中持续访问预训练先验”。

两者并不完全排斥,侧重点不同。论文的消融还包含 LoRA 基线,但它并未证明所有情况下都优于每一种可能的参数高效微调配置。


12. 最后总结:PriorVLA 真正新在哪里?

把论文浓缩成三句话:

一、保留知识:冻结一个预训练动作专家 PE,让它继续作为稳定的运动先验来源。
二、读取知识:Scene Query、Motor Query 将 VLM 与 PE 的隐藏表征变成可利用的接口。
三、用好知识:Action Query 在可训练 AE 内融合先验,最终由 AE 的 Flow Matching 生成动作。

从技术贡献看,PriorVLA 的价值主要在于**双动作专家分工 + 三种 Query + 单向 Attention Mask**的组合设计,以及对这种设计在少样本和 OOD 设置下的系统实验验证。

从实验结论看,它证明了:对已有的大规模预训练 VLA,保留并显式利用前向表征,在部分下游适配场景下比简单全参数微调更加有效。

但仍要保留两个判断:其一,论文只在所选任务与特定扰动范围内验证;其二,冻结 PE 带来额外推理计算,因此“更好的泛化表现”和“更低的推理成本”是两件需要分别评估的事。

一句话评价:PriorVLA 不是提出全新的机器人动作生成范式,而是在 VLA 下游适配阶段,将“预训练先验要被保留、而且要被主动使用”落成了一套具体可训练的架构。


参考资料与图像说明

  1. Xinyu Guo et al., PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models, arXiv:2605.10925v1, 2026. https://arxiv.org/abs/2605.10925
  2. 论文项目主页:https://priorvla.github.io/
  3. 数据和配置主要对应原论文:Section 3–5、Table 1–6,以及 Appendix A–H。
  4. 本文所有插图来自读者提供的图片,包括原论文 Figure 2、Figure 3、Figure 5、Figure 11 和概念重绘图片;图中的概念示意不替代原文精确定义。

分享完成~

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐