论文笔记:把"任务成功"塞进一步动作:DriftOPD 拆解

论文:DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies

作者:Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Jong Chul Ye(KAIST + 成均馆大学)

发布:arXiv:2610.00317,2026-09-29,预印本

论文主页:https://yj-jun.github.io/DriftOPD/

阅读前提:了解 π0.5 / GR00T 这类"VLM + 流匹配动作专家"的 VLA 结构即可,本篇从零讲起。


一、背景

1. VLA 的动作慢在哪

主流 VLA(π0.5、GR00T、ABot-M0 等)可以拆成两部分:

  • 大脑(VLM):看图、读指令,理解"现在要干什么";
  • 小脑(动作专家):用扩散或流匹配(flow matching)实现,把"要干什么"变成具体动作。

小脑不是输出单个动作,而是每次输出一小段动作,叫 action chunk(动作块,例如未来 16~50 步的关节角)。执行完这一段,再看一眼新画面、再预测下一段——这个循环叫滚动时域控制。

问题在于,流匹配头输出一个动作块要串行迭代:从高斯噪声出发,沿速度场一步步积分,π0.5 默认 10 步、GR00T 是 4 步。同一个动作块要反复算 10 次动作专家,这段串行计算正压在机器人实时控制的关键路径上。

2. 块级训练的两个毛病

训练时只对"动作块"算损失,会带来两个问题(论文 Figure 1a):

  1. 测试时会走偏。训练数据全是人演示时经过的状态,模型跑起来后看到的是自己造成的状态,这些状态在训练集里从没出现过,误差会累积。
  2. 没有"成功"信号。块级损失只问"这一块像不像演示",不问"这一块能不能让任务成功"。模型每一步都在挑局部最像人的动作,却从没被告诉过哪条路能走到终点。

强化学习能提供序列级(整条任务)的反馈,但要在真机上反复试错收集轨迹,代价极高。而现有的一步蒸馏方法(sCD、MFD、Drift)都停留在动作块级别——优化的是块内的 ODE 轨迹或分布匹配,同样没有任务成功的监督。

于是本文的问题变成:能不能在完全离线、不跑环境的前提下,把"任务成功"这一序列级信号加进一步生成的训练里?


二、中心思想

灵感来自大语言模型领域的 on-policy distillation(如 MiniLLM):让学生模型自己生成答案,然后在这些自生成样本上最小化学生与教师分布的 reverse KL 散度。

reverse KL 有个好性质:梯度可以拆成"当前步的差异"和"这一步对后续序列的影响"两部分。因为这个性质,直接在学生自己走出的轨迹上训练,天然缓解了第一个毛病(学生见到的就是自己产生的状态)。

本文把 VLA 看成块级别的自回归模型:第 t 步的输入状态 sₜ 是前面动作块执行完后形成的,输出是动作块 aₜ;整条轨迹 τ = (s₁, a₁, s₂, a₂, …)。在这个视角下,序列级 reverse KL 可以递推地拆成两项:

L = L_local(眼前这一块像不像)+ L_future(这一块会让未来变好还是变坏)

用生活化的例子说:L_local 问"这一杆姿势对不对",L_future 问"这一杆会不会让我几步之后处在更好的位置"。后者才是通往任务成功的信号。

但落地时有两堵墙:

  • 墙 A:扩散 / 流匹配模型给不出动作块的概率密度,没有密度就没法算对数比,局部项无法直接计算(语言模型有 logits,所以能做);
  • 墙 B:未来项理论上要求顺着当前策略一路推演才知道后果,也就是要 rollout(闭环跑环境),又回到高成本老路。

DriftOPD 的全部工作,就是给这两项各找一个既不用密度、也不用 rollout 的替代品:

  • 局部项 → 漂移场(drifting field),用样本间的力代替概率密度;
  • 未来项 → 离线训练的打分员(critic),用它的动作梯度代替真实推演。

因此它同时做到了两件事:teacher-free(蒸馏时不需要反复查询多步老师)和 rollout-free(完全不需要跑环境)。


三、主要方法

1. 局部项:用漂移场代替概率密度

漂移场是什么。 想象在纸上撒两把沙:红沙代表演示动作,蓝沙代表模型自己生成的动作。某处红沙多 → 有股力把蓝沙吸引过来;某处蓝沙扎堆而红沙稀疏 → 有股力把蓝沙推开。这个合力就是漂移场,数学上是两个分布"得分函数"之差,但实现上完全用**核密度估计(KDE)**算——也就是只比较样本之间的距离,根本不需要概率密度,正好绕开墙 A。

单正样本实现。 某条演示数据在一个观察下只有一个动作块,作者就用"1 个演示动作(正样本)+ M 个模型自生成样本(64 个,其中 8 个带梯度)"组成力场:

V = 向演示动作的吸引  −  向自生成样本的排斥

排斥项不是摆设:没有它,所有生成样本会塌成同一个模式(模式坍缩)。

为什么这样训练是对的。 论文 Proposition 1 证明:把生成样本沿这个场推动一小步,再以"停止梯度"的目标做回归:

L_drift = ‖ Gθ(z,s) − stopgrad( Gθ(z,s) + η·V ) ‖²

梯度方向恰好等于最小化核平滑 reverse KL 的梯度方向(只差正的常数倍 2η)。也就是说,这不是启发式技巧,而是 reverse KL 的一个无密度等价实现。

2. 未来项:用离线打分员代替未来推演

未来项要问的是"当前动作块会不会让后面几个块的差距变大"。严格计算需要推演,作者改用一个小网络来代理:

critic 的结构(论文 Fig.5):

冻结的 VLM prefix(2048 维,约 352 个 token)──→ 线性投影到 512 维
机器人状态(1 个 token)─────────────────────→ 线性投影
候选动作块(每个时间步一个 token)────────────→ 线性投影 + 位置编码
一个可学习的"价值 token"────────────────────→ 512 维
                    ↓ 拼接
      2 层双向 Transformer(512 维,8 头,FFN 2048)
                    ↓ 从价值 token 读出
      双 Q 头(512→512→1),取 min(Q₁, Q₂) 作保守估计

只有几百万参数,比 VLA 本体小两个数量级。

为什么能代替未来项。 论文 Appendix A.4 证明:一个理想的、冻结的 critic,可以精确表达序列级 reverse KL 的未来梯度贡献;实际 critic 与理想 critic 的误差只体现在"动作梯度不匹配"上。所以未来项在损失里就变成了一个极简的形式:

−λ · Qφ(s, Gθ(z,s))     ← 梯度穿过生成的 a,反传回策略网络

critic 怎么训。 只用演示数据,三元组 (sₜ, aₜ, Rₜ)(状态、当时演示的动作块、之后整条回合的累计回报):

损失项作用
蒙特卡洛回归 (Q − R)²让分数对得上"之后还能得多少分"
Cal-QL(系数 1.0)对 8 个编造的"越界动作"压分,防止乱开高分
EGR(anchor 1.0 / rank 5.0)距离感知排序:离演示动作越远分数应越低,且远近排序要对

后两项是本文专门加的:DriftOPD 要用的是 Q 对动作的梯度,如果只做回归,Q 在动作维度上会到处乱波动,梯度就是噪声;Cal-QL + EGR 强行让 Q 在演示动作邻域内平滑地随动作变化。

训练设置:每个 backbone × 机器人本体各训一个;AdamW,lr 1e-4,batch 64,20k 步,任务均衡采样,10% 任务留出验证;训完冻结,整个蒸馏期间不再更新。

3. 总体目标与实现要点

L_DriftOPD = E[ ‖Gθ − sg(Gθ + ηV)‖²  −  λ·Qφ(s, Gθ(z,s)) ]
  • 学生 = 老师 checkpoint 的完整拷贝,只训 10k 步;VLM 全程冻结,可训的只有动作专家(π0.5 全参微调 693.4M / LoRA 配置 9.1M);
  • λ = 0.01,前 500 步线性热身,并用"漂移项与 critic 项的梯度范数比"动态平衡两项;
  • 漂移使用拉普拉斯核 + 3 个带宽(0.02 / 0.05 / 0.2),每带宽独立做 RMS 归一化后取平均;
  • 一步参数化没有换接口:π0.5 是 Gθ(z,s) = z − v(z, t=1),GR00T 是 z + v(z, t=0),ABot-M0 直接预测干净动作。网络头照旧输出速度场,只是时间步钉死在噪声端、步长固定为 1,于是"单步积分"这个整体作为函数被训练,速度场的知识照单全收。

四、特点

1. 效果

在 π0.5(全参微调 / LoRA)、GR00T N1.5 / N1.6、ABot-M0、SmolVLA 上验证,覆盖仿真(RoboCasa365、RoboTwin 2.0、LIBERO / LIBERO-Plus)与真机(GR00T N1.6 + I2RT YAM 双臂,638 条遥操作演示)。

  • RoboCasa365(π0.5-LoRA):单步任务 39.26(一步老师 31.30、sCD 29.26、MFD 28.33、Drift 34.07),追平 10 步老师的 39.6;组合任务 5.00(老师 7.1)。
  • RoboTwin 2.0(π0.5-LoRA):长任务 46.67,而 sCD 只有 36.97、MFD 16.36——任务越长,序列级信号的价值越明显。
  • 真机(GR00T N1.6):单臂平均 58.3(一步老师 25.0、sCD 1.7、MFD 0.0、Drift 55.0);双臂传递平均 76.7(老师 4 步 80.0)。sCD / MFD 在真机上几乎崩盘。
  • 动作抖动:sCD 和 MFD 的关节指令抖动是老师的 3~4 倍(4.8° vs 1.65°),Drift 系列与老师持平——一步化对它们不额外损失平滑度。
  • 效率:以"策略调用次数 × 单次延迟"衡量的到成功为止的 GPU 时间,比 10 步老师快 2.6×(主页更新为 2.84×)。

2. 优点

  • 完全离线:不查询多步老师、不跑环境,只用现成的演示数据;teacher-free + rollout-free;
  • 通用性好:跨 5 个 backbone、两种动作参数化(流匹配 / 直接预测干净动作)、多种微调策略均有效;
  • 成本低:学生从老师热启动,10k 步、小学习率即可,本质是"端点行为的再校准"而非重训;
  • 前缀可缓存:VLM 全程冻结,演示侧的 VLM 输出可以提前算好存盘,训练循环里只跑动作专家和那个小 critic。

3. 局限

  • critic 是额外工程:每个 backbone × 本体都要单独训一个(20k 步),且它只在"VLM 冻结"的前提下才严格成立;
  • 净增益有限:与纯 Drift 基线相比(两者只差 critic 一项),部分场景提升明显(RoboCasa LoRA +5 分),部分场景甚至略低(RoboTwin 长任务 46.67 vs 48.48),LIBERO-Plus 上几乎没有增益——作者承认这是演示覆盖面限制了 critic 的梯度质量;
  • 不是严格的 on-policy:为了免 rollout,作者用演示里的状态替代学生自己走出的状态,Appendix A.2 给了误差界,但这是理论上主要的妥协点;
  • 不如 DriftingVLA 彻底:它的上限受离线 critic 约束,难以大幅超越多步老师;相比之下 DriftingVLA 是换范式、从头建立一步能力。

4. 与 DriftingVLA 的关系

两者同源——都源自 Deng et al. 2026 的 drifting 思想,都用"吸引正样本 + 排斥自生成样本"的力场做分布匹配,也都用 stop-gradient 回归目标。差别在定位:

DriftingVLADriftOPD
动作专家初始化全新初始化老师权重热启动
VLM与动作专家联合训练全程冻结
训练量全量重训接口10k 步微调
额外信号无冻结的 Q critic(序列级成功信号)
定位从头建立"一步生成"范式给现成模型做一步化精炼,并补上任务成功信号

一句话概括:DriftingVLA 是砸墙重装,DriftOPD 是精装修再加一个"任务成功"的裁判。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐