PriorVLA 论文深度解读:保留预训练先验,让 VLA 在少样本与 OOD 场景中更好地泛化
论文地址:PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models
项目主页:https://priorvla.github.io/
关键词:VLA、π0.5、Prior Preservation、Dual Action Experts、Expert Queries、Flow Matching、Few-shot、OOD
1. 核心分析
PriorVLA 不试图从头训练一个新的机器人基础模型,而是解决 VLA 预训练模型在下游任务微调时,容易遗忘原有能力的问题。
一个经过海量数据预训练的 VLA,已经学到大量通用场景理解和动作生成知识。但如果只拿几十条机器人演示数据去进行 Full Fine-Tuning(全参数微调),模型可能过度适应有限的物体外观、桌面布局和动作轨迹。训练场景里表现不错,换个光照、背景或物体位置,成功率就下降。
PriorVLA 的办法很直接:
- 保留一个冻结的 Prior Expert(先验专家),让原本学到的动作知识不被覆盖。
训练一个 Adaptation Expert(适配专家),让它真正学习当前任务。- 设计三种 Expert Queries,把 VLM 的场景先验和冻结动作专家的运动先验读出来,送给适配专家用于生成动作。

一句话:不要只把预训练模型当作微调初始化;要把预训练知识作为下游动作生成时仍然可读取的资源。
1.1 最重要的实验结果

图 1:PriorVLA 的关键实验结果。百分比表示成功率;“+11”等表示提升百分点,而不是相对百分比。
| 数据集 / 设置 | π0.5 | PriorVLA | 提升 |
|---|---|---|---|
| RoboTwin 2.0 Easy / ID,标准数据 | 67% | 77% | +10 个百分点 |
| RoboTwin 2.0 Hard / OOD,标准数据 | 42% | 53% | +11 个百分点 |
| LIBERO 平均成功率 | 96.9% | 99.1% | +2.2 个百分点 |
| 真实机器人 ID,标准数据 | 69% | 81% | +12 个百分点 |
| 真实机器人 OOD,标准数据 | 41% | 57% | +16 个百分点 |
| 真实机器人 ID,10 条演示/任务 | 24% | 48% | +24 个百分点 |
| 真实机器人 OOD,10 条演示/任务 | 10% | 32% | +22 个百分点 |
此外,PriorVLA 更新的参数数量约为 Full Fine-Tuning 的 25%。但这里需要区分:可训练参数更少 ≠ 总模型参数更少 ≠ 推理耗时减少 75%。推理时仍需执行冻结的 Prior Expert,存在额外计算开销。
阅读路线:先理解“为什么要保留先验”,再看双动作专家(DAE)、三种 Query(EQ)、Attention Mask,最后看训练细节、消融和真实机器人实验。
2. 为什么传统 Full Fine-Tuning 会损害泛化?
2.1 预训练 VLA 中有什么知识?
论文使用的是 π0.5 风格的 VLA 主干,其主要部分包括:
- VLM(Vision-Language Model):处理多视角图像、语言指令与相关条件,学习语义和场景表示。
- AE(Action Expert):以噪声动作块为输入,借助 Flow Matching 逐步生成连续机器人动作。
作者将预训练知识分为两类:
| 知识类型 | 来源 | 含义 |
|---|---|---|
| Scene Priors(场景先验) | 预训练 VLM | 物体、视觉场景结构、与语言任务有关的表示 |
| Motor Priors(运动先验) | 预训练 AE | 在大量机器人动作数据上形成的动作生成规律 |
注意:这里的“先验”不是手工写的规则、明确的 3D 物体图谱或一个单独的动作数据库,而是模型前向传播时的隐藏表征。论文希望将这些隐藏表征保留下来,并设计一个可学习的接口,让适配模型能使用它们。
2.2 举例:为什么 10 条演示可能不够?
假设预训练 VLA 在很多房间中学过抓取。现在需要它学会“把杯子放入架子”,仅提供 10 条演示:训练画面恰巧都是明亮桌面、固定高度、固定杯子位置。全参数微调可能把模型拉向这些狭窄样本的统计模式,最终对训练条件依赖过强。
测试时把灯关暗、换背景、调整杯子位置,即使机器人此前已经学过相关的视觉和运动知识,它也可能无法稳定调用。
这就是作者关注的 Prior Forgetting(先验遗忘)。严格地说,论文用性能和定性 VQA 证据支持这一解释,而不是逐层直接证明某种具体神经元知识完全被“删除”。
2.3 论文的目标
PriorVLA 要兼顾两个看似冲突的要求:
- 保留:预训练 VLM 和动作专家已有的通用能力不要轻易被破坏。
- 适配:下游动作策略必须能根据新任务的数据产生针对性的动作。
只冻结所有模块,模型就缺少适配能力;只训练所有模块,又可能造成先验偏移。论文因此把“知识来源”和“任务学习”分为不同路径。
3. 总体架构:Dual Action Experts + Expert Queries
3.1 简化版流程图

图 3:简化的双专家流程。此图是帮助理解的概念示意,并不表示两条动作分支依次运行;实际上它们在每个去噪步骤读取同一个当前噪声动作块。
可以把三个关键部分理解为:
第一步:从预训练 VLM 读场景信息。 Scene Query 通过注意力机制提取任务相关场景特征。
第二步:从冻结 PE 读运动信息。 PE 跟随当前动作去噪过程运行,但本身不决定下一个去噪状态;Motor Query 从其中读出运动表征。
第三步:在 AE 内融合。 Action Query 和 AE 的噪声动作 Token 可读取 Scene/Motor Query 特征,AE 输出当前去噪方向并产生最终 Action Chunk。
重要区分:双专家不是两个动作策略投票,也不是把两个最终动作做平均。 PE 提供特征,AE 提供控制动作。
论文架构图:

图 2:用户提供的论文架构图,对应原论文 Figure 2。红色火焰标记表示训练,蓝色雪花表示冻结。
从图中可以看到,系统核心并不复杂:
- 前端仍然是预训练的 VLM:视觉编码器处理图像,文本 Tokenizer 处理指令。
- 动作侧从一个 AE 拆成两个:冻结的 Prior Expert 和可训练的 Adaptation Expert。
- 中间增设三组 Query:Scene Query、Motor Query、Action Query。
- 最终动作只来自 Adaptation Expert。
4. 核心创新一:Dual Action Experts(双动作专家)
4.1 如何从一个 AE 变成两个专家?
传统适配过程可以写成:
Pretrained Action Expert
│
Full Fine-Tuning
↓
Task-specific Action Expert
PriorVLA 改为:
Pretrained Action Expert
│
复制相同预训练权重
┌─────┴─────┐
↓ ↓
Prior Expert Adaptation Expert
冻结 可训练
│ ↑
Motor Query ───┘
提供先验 输出动作
两者从 相同预训练权重 初始化,但训练职责不同。
| Prior Expert(PE) | Adaptation Expert(AE) | |
|---|---|---|
| 初始化 | 预训练 AE 权重 | 同样的预训练 AE 权重 |
| 是否更新 | 不更新 | 更新 |
| 输入 | 当前带噪声动作、相关条件 | 同一个当前带噪声动作、相关条件 |
| 输出用途 | 中间隐藏表征供 MQ 读取 | 负责去噪更新和最终动作 |
| 是否直接参与动作损失 | 否 | 是 |
4.2 两个专家怎样同步去噪?
VLA 策略根据观测和状态预测未来长度为 (H) 的动作块。论文公式(1):
a ^ t : t + H − 1 = π θ ( a ~ t : t + H − 1 , o t , l , s t ) \hat{a}_{t:t+H-1} =\pi_\theta(\tilde{a}_{t:t+H-1},o_t,l,s_t) a^t:t+H−1=πθ(a~t:t+H−1,ot,l,st)
其中:
- oₜ:视觉观测;
- l:语言指令;
- sₜ:机器人本体状态;
- 带噪动作序列 ãₜ:ₜ₊H₋₁:噪声动作块;
- H:动作序列长度(Action Horizon)。
在去噪步骤 τ,两个专家收到同一个噪声动作块:
a ~ P E τ = a ~ A d a τ = a ~ τ \tilde a^\tau_{\mathrm{PE}}=\tilde a^\tau_{\mathrm{Ada}}=\tilde a^\tau a~PEτ=a~Adaτ=a~τ
只有 AE 的预测用于更新动作轨迹。原论文公式(2):
a ~ τ + 1 = F M ( a ~ τ , f A d a τ ) \boxed{\tilde a^{\tau+1}=\mathrm{FM}\left(\tilde a^\tau,f^\tau_{\mathrm{Ada}}\right)} a~τ+1=FM(a~τ,fAdaτ)
f_Ada(第 τ 步) 表示 AE 当前去噪输出,FM(·) 表示对应的 Flow Matching 更新算子。
然后,更新后的动作块再次同时送入 PE 与 AE。PE 伴随同一条轨迹计算其内部特征,自己的去噪输出则直接丢弃。
这一机制的关键优势是:AE 既可以针对新任务改变动作轨迹,又能在每个去噪步骤读取保留下来的运动表征。
4.3 为什么不直接复制 PE 的动作特征?
论文附录 A.4 提到一个重要实现观察:让 AE 直接访问 PE 的原始噪声动作隐藏状态,会降低训练稳定性。因此作者通过 Motor Query 的 Key/Value 缓存来传递信息,而不是让 AE 直接注意 PE 所有原始动作 Token。
换句话说:不能仅仅“冻结一个老师”,还需要“设计一个合适的知识读取接口”。
5. 核心创新二:Expert Queries(三类专家查询)

图 4:Scene Query 与 Motor Query 读取两种先验,Action Query 在 AE 中融合。此图仅表达主要信息流,不代表训练了独立的场景或运动监督任务。
| Query | 所属位置 | 主要读取对象 | 作用 |
|---|---|---|---|
| SQ / Scene Query | VLM | 原始 VLM Token | 捕获场景先验 |
| MQ / Motor Query | 冻结 PE | PE 动作 Token | 捕获运动先验 |
| AQ / Action Query | 可训练 AE | VLM、SQ、MQ 和 AE 内部 Token | 融合多源先验 |
5.1 Scene Query:怎么读出场景先验?
Scene Queries 是附加到 VLM 输入序列的可学习 Token。它们通过 VLM 的自注意力读取原始视觉语言 Token。
论文公式(3):
h s q l + 1 = Attn ( Q s q l , K o b s l ∥ K s q l , V o b s l ∥ V s q l ) \boxed{ h_{\mathrm{sq}}^{l+1} =\operatorname{Attn}\left( Q_{\mathrm{sq}}^{l}, K_{\mathrm{obs}}^{l}\Vert K_{\mathrm{sq}}^{l}, V_{\mathrm{obs}}^{l}\Vert V_{\mathrm{sq}}^{l} \right) } hsql+1=Attn(Qsql,Kobsl∥Ksql,Vobsl∥Vsql)
这里:
- l l l 为 Transformer 层索引;
- ∥ \Vert ∥ 表示沿 Token 维度拼接;
- h s q l + 1 h_{\mathrm{sq}}^{l+1} hsql+1 是 SQ 的隐藏状态。
直觉:SQ 相当于一组专门用来“提取场景重点”的可学习查询向量。它们并不需要生成一段文字,而是产生能够供动作专家读取的中间特征。
SQ 的逐层 Key/Value 缓存会作为场景先验接口供 AE 使用。
不要误解:论文没有把 SQ 单独训练成目标检测器、3D 场景图模块或可解释的场景语义标签。这里所谓“场景先验”仍是网络特征。
5.2 Motor Query:从冻结 PE 读取动作先验
MQ 追加在冻结 PE 的计算路径中。MQ 可以读 PE,PE 的原始噪声动作 Token 却不能反向读 MQ。
PE 原始动作路径按论文公式(4)计算:
h a ~ p e l + 1 = Attn ( Q a ~ p e l , K o b s l ∥ K a ~ p e l , V o b s l ∥ V a ~ p e l ) h_{\tilde a_{\mathrm{pe}}}^{l+1} =\operatorname{Attn}\left( Q_{\tilde a_{\mathrm{pe}}}^{l}, K_{\mathrm{obs}}^{l}\Vert K_{\tilde a_{\mathrm{pe}}}^{l}, V_{\mathrm{obs}}^{l}\Vert V_{\tilde a_{\mathrm{pe}}}^{l} \right) ha~pel+1=Attn(Qa~pel,Kobsl∥Ka~pel,Vobsl∥Va~pel)
MQ 则按公式(5)计算:
h m q l + 1 = Attn ( Q m q l , K m q l ∥ K a ~ p e l , V m q l ∥ V a ~ p e l ) \boxed{ h_{\mathrm{mq}}^{l+1} =\operatorname{Attn}\left( Q_{\mathrm{mq}}^{l}, K_{\mathrm{mq}}^{l}\Vert K_{\tilde a_{\mathrm{pe}}}^{l}, V_{\mathrm{mq}}^{l}\Vert V_{\tilde a_{\mathrm{pe}}}^{l} \right) } hmql+1=Attn(Qmql,Kmql∥Ka~pel,Vmql∥Va~pel)
因此 PE 原有动作路径基本保持原样,而 MQ 作为新增的“旁路读出器”提取中间运动表征。
更细的工程处理见论文附录 A.4:MQ 也不直接读取 VLM Prefix / SQ。因为 VLM Token 数量远大于 PE 动作 Token,若开放直接读取,MQ 的注意力可能被大量场景特征主导,无法专注运动侧信息。
5.3 Action Query:融合不同来源的知识
AQ 处于可训练 AE 中,与 AE 噪声动作 Token 在相同的适配块里双向交互。
令 z 表示 AQ 与 AE 噪声动作 Token 的组合,原论文公式(6)可紧凑记成:
h z l + 1 = Attn ( Q z l , K z l ∥ K o b s l ∥ K s q l ∥ K m q l , V z l ∥ V o b s l ∥ V s q l ∥ V m q l ) h_z^{l+1}=\operatorname{Attn}\left( Q_z^l, K_z^l\Vert K_{\mathrm{obs}}^l\Vert K_{\mathrm{sq}}^l\Vert K_{\mathrm{mq}}^l, V_z^l\Vert V_{\mathrm{obs}}^l\Vert V_{\mathrm{sq}}^l\Vert V_{\mathrm{mq}}^l \right) hzl+1=Attn(Qzl,Kzl∥Kobsl∥Ksql∥Kmql,Vzl∥Vobsl∥Vsql∥Vmql)
这表示 AQ / AE 动作 Token 可以同时读取:
- 原始 VLM 表征;
- SQ 提取的场景先验;
- MQ 提取的运动先验;
- AE 自身当前去噪表示。
但 PE 原始噪声动作 Token 不直接暴露给 AE,运动信息必须经过 MQ 接口。
AQ 自己不解码为动作;最终动作来自 AE 的噪声动作路径。
6. Attention Mask:论文最关键的工程设计
光是往 Transformer 增加 Query Token,还不能保证“该读的读、不该改的不改”。PriorVLA 使用分块 Attention Mask控制信息方向。

图 5:Attention Mask 解读图。纵轴为读取方(Query),横轴为被读取方(Key/Value);橙色表示允许注意力。
再对照论文原始 Figure 3:

图 6:论文 Figure 3 的注意力矩阵及 Pretrain / Capture / Integrate 信息流。
6.1 六组 Token 分别是什么?
| 符号 | Token 组 | 所在模块 |
|---|---|---|
| OBS | 原始视觉语言输入 Token | VLM |
| SQ | Scene Queries | VLM |
| N1 | Prior Expert 噪声动作 Token | PE |
| MQ | Motor Queries | PE |
| AQ | Action Queries | AE |
| N2 | Adaptation Expert 噪声动作 Token | AE |
用矩阵方式概括论文的访问限制:
| 读取方 \ 被读取方 | OBS | SQ | N1 | MQ | AQ | N2 |
|---|---|---|---|---|---|---|
| OBS | ✓ | — | — | — | — | — |
| SQ | ✓ | ✓ | — | — | — | — |
| N1 | ✓ | — | ✓ | — | — | — |
| MQ | — | — | ✓ | ✓ | — | — |
| AQ | ✓ | ✓ | — | ✓ | ✓ | ✓ |
| N2 | ✓ | ✓ | — | ✓ | ✓ | ✓ |
6.2 需要记住的三条约束
约束一:OBS 不读取后面的 Query。 原始 VLM 路径不会被新插入的 Query 反向影响。
约束二:N1 不读取 SQ / MQ / AQ / N2。 冻结 PE 原有的去噪路径保持独立,MQ 只能单向提取 PE 运动信息。
约束三:AQ / N2 可以读取 SQ 和 MQ,但不能直接读取 N1。 AE 能融合先验,但不会直接复制冻结动作专家的全部原始动作状态。
这个 Mask 设计解释了 PriorVLA 方法上的重要区别:先验保留不仅依靠参数冻结,还依靠信息流隔离。
7. 模型训练:到底哪些参数更新?
PriorVLA 基于 π0.5 风格的主干:SigLIP 风格视觉编码器 + Gemma-2B 语言骨干 + Gemma-300M 风格动作专家(论文附录 A.1)。
| 模块 | 参数是否更新 | 说明 |
|---|---|---|
| VLM Vision Encoder | ✓ | 适应下游视觉观测 |
| VLM 其他参数(包括语言骨干) | ✗ | 保留主体视觉语言表征 |
| Prior Expert | ✗ | 稳定的预训练运动先验来源 |
| Adaptation Expert | ✓ | 预测动作去噪方向 |
| Scene / Motor / Action Queries | ✓ | 学习读取与融合先验 |
总可训练参数约为全参数微调的 25%。
7.1 并没有增加“知识蒸馏损失”
论文用的是标准 Flow Matching Mean Squared Error(MSE)。损失仅施加于 AE 的去噪预测。
为说明其形式,使用 Flow Matching 的通常记号,可以写成:
L F M = E [ ∥ f θ ( a ~ τ , o t , l , s t ) − u τ ∥ 2 2 ] \mathcal L_{\mathrm{FM}} =\mathbb E\left[\left\|f_{\theta}(\tilde a^{\tau},o_t,l,s_t)-u^{\tau}\right\|_2^2\right] LFM=E[∥fθ(a~τ,ot,l,st)−uτ∥22]
这里 (u^\tau) 表示目标流场。这是对标准 Flow Matching 训练目标的技术性记号整理,并非论文新提出的额外损失函数。
论文明确说明:
- PE 的最终去噪预测在训练和推理阶段均被丢弃;
- PE 不参与损失;
- 三种 Queries 没有单独的辅助损失;
- 所有可训练部分统一由下游动作目标监督。
换句话说,PriorVLA 最主要的创新是前向结构和注意力机制,而不是新增复杂的监督标签。
7.2 训练超参数和硬件配置
| 配置 | RoboTwin 2.0 | LIBERO | 真实机器人 |
|---|---|---|---|
| 训练粒度 | 每任务单模型 | 每 Suite 单模型 | 每任务单模型 |
| Steps | 30k | 30k | 30k |
| Global Batch Size | 32 | 256 | 32 |
| Action Horizon (H) | 50 | 10 | 50 |
| Warmup | 1k | 10k | 1k |
| Peak LR | 2.5e-5 | 5.0e-5 | 2.5e-5 |
| EMA | 0.99 | 0.999 | 0.99 |
更详细的配置:
- 优化器 AdamW,global-norm 梯度裁剪为 1.0;
- 视觉输入分辨率 224×224;
- Queries 使用分组学习率倍率:SQ ×2、MQ ×4、AQ ×4、其余可训练参数 ×1;
- 冻结参数以 bfloat16 存储,训练参数以 float32 优化;
- RoboTwin 2.0 使用 8×H20 96GB,LIBERO 和真实机器人使用 8×A100 80GB 进行主实验。
这也提醒我们:可训练参数比例较小,并不意味着所需 GPU 很少。
8. 实验详解:泛化性能真的提高了吗?
8.1 RoboTwin 2.0:Easy 是 ID,Hard 是 OOD
RoboTwin 2.0 在 Aloha-AgileX 双臂平台上验证。论文使用 13 项任务(不是全部 50 项),标准训练每任务 50 条干净演示数据,每种评估设置每任务 300 次 rollout。
Easy/Hard 的区别在于域随机化,Hard 中加入背景、桌面杂物、光照和桌面高度扰动;机器人与相机配置不变。
| 方法 | Easy / ID | Hard / OOD |
|---|---|---|
| Diffusion Policy | 36% | 0% |
| RDT | 44% | 17% |
| π0 | 62% | 22% |
| π0.5 | 67% | 42% |
| PriorVLA | 77% | 53% |
标准设置下,PriorVLA 对 π0.5 的平均提升为 Easy +10、Hard +11 个百分点。
但并非所有任务都提升。 例如 Stack Blocks Two 的 Hard 成功率从 24% 降至 17%,Put Object Cabinet 从 53% 降至 45%。论文的证据支持“整体平均及多数任务更好”,不是“每项任务都更好”。
8.2 数据量实验:先验保留在少样本与 OOD 下更有效
| 数据规模 | π0.5 Easy | PriorVLA Easy | π0.5 Hard | PriorVLA Hard |
|---|---|---|---|---|
| Few-shot(10 条/任务) | 29% | 41% | 20% | 31% |
| Standard(50 条/任务) | 67% | 77% | 42% | 53% |
| Large(250 条/任务) | 89% | 88% | 59% | 65% |
值得注意:
- 少样本 Easy:+12 个百分点;Hard:+11 个百分点;
- 大数据 Easy:PriorVLA 略低 1 个百分点;
- 大数据 Hard:PriorVLA 仍高出 6 个百分点。
解读:随着训练演示数量增加,特定数据分布内(ID)的性能优势可能缩小;而 OOD 情况下,冻结先验仍表现出价值。这是作者关于“保留预训练知识而非仅用作初始化”的重要支撑。
8.3 LIBERO:平均成功率 99.1%
| 方法 | Spatial | Object | Goal | Long | Avg. |
|---|---|---|---|---|---|
| GR00T-N1 | 94.4 | 97.6 | 93.0 | 90.6 | 93.9 |
| π0 | 96.8 | 98.8 | 95.8 | 85.2 | 94.1 |
| π0.5 | 98.8 | 98.2 | 98.0 | 92.4 | 96.9 |
| OpenVLA-OFT | 97.6 | 98.4 | 97.9 | 94.5 | 97.1 |
| PriorVLA | 99.4 | 99.8 | 99.4 | 97.6 | 99.1 |
其中 LIBERO-Long 从 92.4% 提升到 97.6%,相比其他 Suite 增幅更大。不过 LIBERO 已是成功率接近饱和的基准,所以不能仅凭 99.1% 得出开放世界泛化能力已解决的结论。
8.4 真实机器人:Franka 单臂与 AC-One 双臂

图 7:原论文 Figure 5,Franka 使用第三人称与腕部 D435;AC-One 使用顶部 D435 与左右臂 D405。
实验包含八个任务:Place Ring、Insert Peg、Pick Object、Stack Blocks、Stack Bowls、Sweep Blocks、Arrange Cups、Hang Towel。
真实 OOD 评估同时改变四项因素:光照变暗、背景出现干扰物、目标物体初始位置变化、桌面高度上升 2 cm。
| 训练数据 | 测试 | π0.5 | PriorVLA | 提升 |
|---|---|---|---|---|
| Standard(100–300 条/任务) | ID | 69% | 81% | +12 pp |
| Standard(100–300 条/任务) | OOD | 41% | 57% | +16 pp |
| Few-shot(10 条/任务) | ID | 24% | 48% | +24 pp |
| Few-shot(10 条/任务) | OOD | 10% | 32% | +22 pp |
真实机器人每任务分别进行 20 次 ID 与 20 次 OOD 测试。控制采用长度为 50 的动作块,每次执行前 15 个动作,然后重新感知并生成下一段动作。
值得重视的边界:真实 Few-shot / OOD 从 10% 提升到 32% 是明显改善,但 32% 仍不足以说明系统可以在任意陌生环境可靠部署。
9. 消融实验:哪个模块真正有用?
消融实验选用 RoboTwin 2.0 的 6 个任务子集,不能与上面的 13 任务平均结果直接混为一谈。完整 PriorVLA 在此子集上得到 Easy 77%、Hard 49%。
9.1 Prior Expert 消融
| 变体 | Easy | Hard |
|---|---|---|
| 无 PE 到 AE 的先验路径 | 75% | 42% |
| 随机初始化、冻结 PE | 75% | 43% |
| PE 也可训练 | 73% | 44% |
| 完整 PriorVLA | 77% | 49% |
结论:
- 去掉 PE 路径,Hard 降 7 个百分点;
- 用随机冻结分支代替预训练 PE,并不能达到完整效果;
- 连 PE 一起训练,结果也不如冻结。
这支持作者的解释:收益来自可读取且稳定的预训练运动先验,而不仅是模型多了一条分支。
9.2 三种 Queries 消融
| 变体 | Easy | Hard | 相对完整模型的 Hard 下降 |
|---|---|---|---|
| 移除所有 SQ/MQ/AQ | 61% | 28% | -21 pp |
| 移除 SQ | 70% | 30% | -19 pp |
| 移除 MQ | 75% | 42% | -7 pp |
| 移除 AQ | 71% | 43% | -6 pp |
| 完整 PriorVLA | 77% | 49% | — |
最显著的单项下降来自 Scene Queries:移除 SQ 使 Hard 从 49% 降到 30%。也就是说,场景先验的读取对于这组 OOD 操作任务格外重要。
注意这些数字只能说明“对应模块被移除后的模型性能变化”,不能直接当成 SQ、MQ、AQ 所贡献性能的可相加分解。
此外,消融中冻结视觉编码器会使 Hard 降到 37%,说明场景视觉适配与保留 VLM 主干先验是互补的。
10. VQA 对比:模型还记得原本的视觉语言能力吗?

图 8:论文 Figure 11,比较预训练模型、全参数微调与 PriorVLA 的定性 VQA 结果。
作者补充了六组定性测试,包括:
- 识别猫;
- 识别数字 2;
- 统计蓝色积木数量;
- 描述室内场景;
- 判断叠碗时下一步操作;
- 判断操作瓶子时下一子任务。
原始预训练模型与 PriorVLA 均能给出有意义的回答;作者报告的 Full Fine-Tuning 输出则在这些示例中出现乱码或无语义回答。
这为“预训练视觉语言能力被更好保留”提供了定性支持。
有两个重要限定:
- 这是少量定性 VQA Probe,不是完整 VQA 基准,也没有大规模定量指标。
- 测试期间关闭了 Scene Queries,让不同模型沿共享的 VLM 路径进行比较。因此该实验不是直接测试 SQ 的 VQA 能力。
所以更准确的说法是:PriorVLA 在这些示例中更好保留了预训练的视觉语言回答能力;尚不能据此证明其完整保存了所有预训练知识。
11. 论文优势与局限:如何客观评价?
11.1 方法的实际价值
(1)提供了一种明确的预训练先验复用方式。 相比只限制微调参数量,它尝试让先验在每一次动作去噪中真正被读取。
(2)结构设计和消融形成了相对完整的证据链。 随机 PE、可训练 PE、移除 PE、移除各类 Query 等实验,能排除一部分“只是堆参数”式解释。
(3)提升集中在更有挑战的设置。 不只是 LIBERO 等常规基准,RoboTwin Hard 与真实少样本 OOD 也观察到提升。
11.2 作者明确承认的局限
局限一:RoboTwin 仅评估 13/50 个任务。 因为每个任务都要训练独立模型,未覆盖全部 Benchmark。
局限二:真实 OOD 扰动没有拆开单独评价。 光照、背景、物体位置和桌面高度共同改变,不能判断每个因素各自对成功率的影响。
局限三:推理存在额外开销。 冻结 PE 在去噪时仍然运行,即使它不输出最终动作。
局限四:内部知识机制仍缺少细粒度分析。 作者尚未完全解释不同层、不同去噪步骤中,场景先验和运动先验的具体交互与演变。
11.3 从实验范围进一步理解的边界
- 不等于统一多任务模型:RoboTwin 和真实任务主要采用每任务单模型,LIBERO 为每 Suite 单模型。
- 不等于开放世界操作已经解决:真实实验在受控实验室完成,OOD 变化范围有限。
- 不等于所有任务提高:部分 RoboTwin 单项实验出现下降。
- 不等于适合任何实时部署平台:论文没有给出充分的端到端推理延迟、吞吐和边缘部署对比。
11.4 与 LoRA 等参数高效方法的区别
LoRA 等方法的核心问题通常是“怎样用更少的可训练参数完成适配”;PriorVLA 更关心“怎样在适配后的动作生成过程中持续访问预训练先验”。
两者并不完全排斥,侧重点不同。论文的消融还包含 LoRA 基线,但它并未证明所有情况下都优于每一种可能的参数高效微调配置。
12. 最后总结:PriorVLA 真正新在哪里?
把论文浓缩成三句话:
一、保留知识:冻结一个预训练动作专家 PE,让它继续作为稳定的运动先验来源。
二、读取知识:Scene Query、Motor Query 将 VLM 与 PE 的隐藏表征变成可利用的接口。
三、用好知识:Action Query 在可训练 AE 内融合先验,最终由 AE 的 Flow Matching 生成动作。
从技术贡献看,PriorVLA 的价值主要在于**双动作专家分工 + 三种 Query + 单向 Attention Mask**的组合设计,以及对这种设计在少样本和 OOD 设置下的系统实验验证。
从实验结论看,它证明了:对已有的大规模预训练 VLA,保留并显式利用前向表征,在部分下游适配场景下比简单全参数微调更加有效。
但仍要保留两个判断:其一,论文只在所选任务与特定扰动范围内验证;其二,冻结 PE 带来额外推理计算,因此“更好的泛化表现”和“更低的推理成本”是两件需要分别评估的事。
一句话评价:PriorVLA 不是提出全新的机器人动作生成范式,而是在 VLA 下游适配阶段,将“预训练先验要被保留、而且要被主动使用”落成了一套具体可训练的架构。
参考资料与图像说明
- Xinyu Guo et al., PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models, arXiv:2605.10925v1, 2026. https://arxiv.org/abs/2605.10925
- 论文项目主页:https://priorvla.github.io/
- 数据和配置主要对应原论文:Section 3–5、Table 1–6,以及 Appendix A–H。
- 本文所有插图来自读者提供的图片,包括原论文 Figure 2、Figure 3、Figure 5、Figure 11 和概念重绘图片;图中的概念示意不替代原文精确定义。
分享完成~
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)