论文笔记:把“任务成功“塞进一步动作:DriftOPD 拆解
论文笔记:把"任务成功"塞进一步动作:DriftOPD 拆解
论文:DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
作者:Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Jong Chul Ye(KAIST + 成均馆大学)
发布:arXiv:2610.00317,2026-09-29,预印本
论文主页:https://yj-jun.github.io/DriftOPD/
阅读前提:了解 π0.5 / GR00T 这类"VLM + 流匹配动作专家"的 VLA 结构即可,本篇从零讲起。
一、背景
1. VLA 的动作慢在哪
主流 VLA(π0.5、GR00T、ABot-M0 等)可以拆成两部分:
- 大脑(VLM):看图、读指令,理解"现在要干什么";
- 小脑(动作专家):用扩散或流匹配(flow matching)实现,把"要干什么"变成具体动作。
小脑不是输出单个动作,而是每次输出一小段动作,叫 action chunk(动作块,例如未来 16~50 步的关节角)。执行完这一段,再看一眼新画面、再预测下一段——这个循环叫滚动时域控制。
问题在于,流匹配头输出一个动作块要串行迭代:从高斯噪声出发,沿速度场一步步积分,π0.5 默认 10 步、GR00T 是 4 步。同一个动作块要反复算 10 次动作专家,这段串行计算正压在机器人实时控制的关键路径上。
2. 块级训练的两个毛病
训练时只对"动作块"算损失,会带来两个问题(论文 Figure 1a):
- 测试时会走偏。训练数据全是人演示时经过的状态,模型跑起来后看到的是自己造成的状态,这些状态在训练集里从没出现过,误差会累积。
- 没有"成功"信号。块级损失只问"这一块像不像演示",不问"这一块能不能让任务成功"。模型每一步都在挑局部最像人的动作,却从没被告诉过哪条路能走到终点。
强化学习能提供序列级(整条任务)的反馈,但要在真机上反复试错收集轨迹,代价极高。而现有的一步蒸馏方法(sCD、MFD、Drift)都停留在动作块级别——优化的是块内的 ODE 轨迹或分布匹配,同样没有任务成功的监督。
于是本文的问题变成:能不能在完全离线、不跑环境的前提下,把"任务成功"这一序列级信号加进一步生成的训练里?
二、中心思想
灵感来自大语言模型领域的 on-policy distillation(如 MiniLLM):让学生模型自己生成答案,然后在这些自生成样本上最小化学生与教师分布的 reverse KL 散度。
reverse KL 有个好性质:梯度可以拆成"当前步的差异"和"这一步对后续序列的影响"两部分。因为这个性质,直接在学生自己走出的轨迹上训练,天然缓解了第一个毛病(学生见到的就是自己产生的状态)。
本文把 VLA 看成块级别的自回归模型:第 t 步的输入状态 sₜ 是前面动作块执行完后形成的,输出是动作块 aₜ;整条轨迹 τ = (s₁, a₁, s₂, a₂, …)。在这个视角下,序列级 reverse KL 可以递推地拆成两项:
L = L_local(眼前这一块像不像)+ L_future(这一块会让未来变好还是变坏)
用生活化的例子说:L_local 问"这一杆姿势对不对",L_future 问"这一杆会不会让我几步之后处在更好的位置"。后者才是通往任务成功的信号。
但落地时有两堵墙:
- 墙 A:扩散 / 流匹配模型给不出动作块的概率密度,没有密度就没法算对数比,局部项无法直接计算(语言模型有 logits,所以能做);
- 墙 B:未来项理论上要求顺着当前策略一路推演才知道后果,也就是要 rollout(闭环跑环境),又回到高成本老路。
DriftOPD 的全部工作,就是给这两项各找一个既不用密度、也不用 rollout 的替代品:
- 局部项 → 漂移场(drifting field),用样本间的力代替概率密度;
- 未来项 → 离线训练的打分员(critic),用它的动作梯度代替真实推演。
因此它同时做到了两件事:teacher-free(蒸馏时不需要反复查询多步老师)和 rollout-free(完全不需要跑环境)。
三、主要方法
1. 局部项:用漂移场代替概率密度
漂移场是什么。 想象在纸上撒两把沙:红沙代表演示动作,蓝沙代表模型自己生成的动作。某处红沙多 → 有股力把蓝沙吸引过来;某处蓝沙扎堆而红沙稀疏 → 有股力把蓝沙推开。这个合力就是漂移场,数学上是两个分布"得分函数"之差,但实现上完全用**核密度估计(KDE)**算——也就是只比较样本之间的距离,根本不需要概率密度,正好绕开墙 A。
单正样本实现。 某条演示数据在一个观察下只有一个动作块,作者就用"1 个演示动作(正样本)+ M 个模型自生成样本(64 个,其中 8 个带梯度)"组成力场:
V = 向演示动作的吸引 − 向自生成样本的排斥
排斥项不是摆设:没有它,所有生成样本会塌成同一个模式(模式坍缩)。
为什么这样训练是对的。 论文 Proposition 1 证明:把生成样本沿这个场推动一小步,再以"停止梯度"的目标做回归:
L_drift = ‖ Gθ(z,s) − stopgrad( Gθ(z,s) + η·V ) ‖²
梯度方向恰好等于最小化核平滑 reverse KL 的梯度方向(只差正的常数倍 2η)。也就是说,这不是启发式技巧,而是 reverse KL 的一个无密度等价实现。
2. 未来项:用离线打分员代替未来推演
未来项要问的是"当前动作块会不会让后面几个块的差距变大"。严格计算需要推演,作者改用一个小网络来代理:
critic 的结构(论文 Fig.5):
冻结的 VLM prefix(2048 维,约 352 个 token)──→ 线性投影到 512 维
机器人状态(1 个 token)─────────────────────→ 线性投影
候选动作块(每个时间步一个 token)────────────→ 线性投影 + 位置编码
一个可学习的"价值 token"────────────────────→ 512 维
↓ 拼接
2 层双向 Transformer(512 维,8 头,FFN 2048)
↓ 从价值 token 读出
双 Q 头(512→512→1),取 min(Q₁, Q₂) 作保守估计
只有几百万参数,比 VLA 本体小两个数量级。
为什么能代替未来项。 论文 Appendix A.4 证明:一个理想的、冻结的 critic,可以精确表达序列级 reverse KL 的未来梯度贡献;实际 critic 与理想 critic 的误差只体现在"动作梯度不匹配"上。所以未来项在损失里就变成了一个极简的形式:
−λ · Qφ(s, Gθ(z,s)) ← 梯度穿过生成的 a,反传回策略网络
critic 怎么训。 只用演示数据,三元组 (sₜ, aₜ, Rₜ)(状态、当时演示的动作块、之后整条回合的累计回报):
| 损失项 | 作用 |
|---|---|
| 蒙特卡洛回归 (Q − R)² | 让分数对得上"之后还能得多少分" |
| Cal-QL(系数 1.0) | 对 8 个编造的"越界动作"压分,防止乱开高分 |
| EGR(anchor 1.0 / rank 5.0) | 距离感知排序:离演示动作越远分数应越低,且远近排序要对 |
后两项是本文专门加的:DriftOPD 要用的是 Q 对动作的梯度,如果只做回归,Q 在动作维度上会到处乱波动,梯度就是噪声;Cal-QL + EGR 强行让 Q 在演示动作邻域内平滑地随动作变化。
训练设置:每个 backbone × 机器人本体各训一个;AdamW,lr 1e-4,batch 64,20k 步,任务均衡采样,10% 任务留出验证;训完冻结,整个蒸馏期间不再更新。
3. 总体目标与实现要点
L_DriftOPD = E[ ‖Gθ − sg(Gθ + ηV)‖² − λ·Qφ(s, Gθ(z,s)) ]
- 学生 = 老师 checkpoint 的完整拷贝,只训 10k 步;VLM 全程冻结,可训的只有动作专家(π0.5 全参微调 693.4M / LoRA 配置 9.1M);
- λ = 0.01,前 500 步线性热身,并用"漂移项与 critic 项的梯度范数比"动态平衡两项;
- 漂移使用拉普拉斯核 + 3 个带宽(0.02 / 0.05 / 0.2),每带宽独立做 RMS 归一化后取平均;
- 一步参数化没有换接口:π0.5 是
Gθ(z,s) = z − v(z, t=1),GR00T 是z + v(z, t=0),ABot-M0 直接预测干净动作。网络头照旧输出速度场,只是时间步钉死在噪声端、步长固定为 1,于是"单步积分"这个整体作为函数被训练,速度场的知识照单全收。
四、特点
1. 效果
在 π0.5(全参微调 / LoRA)、GR00T N1.5 / N1.6、ABot-M0、SmolVLA 上验证,覆盖仿真(RoboCasa365、RoboTwin 2.0、LIBERO / LIBERO-Plus)与真机(GR00T N1.6 + I2RT YAM 双臂,638 条遥操作演示)。
- RoboCasa365(π0.5-LoRA):单步任务 39.26(一步老师 31.30、sCD 29.26、MFD 28.33、Drift 34.07),追平 10 步老师的 39.6;组合任务 5.00(老师 7.1)。
- RoboTwin 2.0(π0.5-LoRA):长任务 46.67,而 sCD 只有 36.97、MFD 16.36——任务越长,序列级信号的价值越明显。
- 真机(GR00T N1.6):单臂平均 58.3(一步老师 25.0、sCD 1.7、MFD 0.0、Drift 55.0);双臂传递平均 76.7(老师 4 步 80.0)。sCD / MFD 在真机上几乎崩盘。
- 动作抖动:sCD 和 MFD 的关节指令抖动是老师的 3~4 倍(4.8° vs 1.65°),Drift 系列与老师持平——一步化对它们不额外损失平滑度。
- 效率:以"策略调用次数 × 单次延迟"衡量的到成功为止的 GPU 时间,比 10 步老师快 2.6×(主页更新为 2.84×)。
2. 优点
- 完全离线:不查询多步老师、不跑环境,只用现成的演示数据;teacher-free + rollout-free;
- 通用性好:跨 5 个 backbone、两种动作参数化(流匹配 / 直接预测干净动作)、多种微调策略均有效;
- 成本低:学生从老师热启动,10k 步、小学习率即可,本质是"端点行为的再校准"而非重训;
- 前缀可缓存:VLM 全程冻结,演示侧的 VLM 输出可以提前算好存盘,训练循环里只跑动作专家和那个小 critic。
3. 局限
- critic 是额外工程:每个 backbone × 本体都要单独训一个(20k 步),且它只在"VLM 冻结"的前提下才严格成立;
- 净增益有限:与纯 Drift 基线相比(两者只差 critic 一项),部分场景提升明显(RoboCasa LoRA +5 分),部分场景甚至略低(RoboTwin 长任务 46.67 vs 48.48),LIBERO-Plus 上几乎没有增益——作者承认这是演示覆盖面限制了 critic 的梯度质量;
- 不是严格的 on-policy:为了免 rollout,作者用演示里的状态替代学生自己走出的状态,Appendix A.2 给了误差界,但这是理论上主要的妥协点;
- 不如 DriftingVLA 彻底:它的上限受离线 critic 约束,难以大幅超越多步老师;相比之下 DriftingVLA 是换范式、从头建立一步能力。
4. 与 DriftingVLA 的关系
两者同源——都源自 Deng et al. 2026 的 drifting 思想,都用"吸引正样本 + 排斥自生成样本"的力场做分布匹配,也都用 stop-gradient 回归目标。差别在定位:
| DriftingVLA | DriftOPD | |
|---|---|---|
| 动作专家初始化 | 全新初始化 | 老师权重热启动 |
| VLM | 与动作专家联合训练 | 全程冻结 |
| 训练量 | 全量重训接口 | 10k 步微调 |
| 额外信号 | 无 | 冻结的 Q critic(序列级成功信号) |
| 定位 | 从头建立"一步生成"范式 | 给现成模型做一步化精炼,并补上任务成功信号 |
一句话概括:DriftingVLA 是砸墙重装,DriftOPD 是精装修再加一个"任务成功"的裁判。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)