「离散当条件,远胜过当输出」

目录

01    先看清这个错位在哪

1.1 两种轨迹表示,各有各的短板

1.2 把离散轨迹挪到中间,而不是终点

02    TrajCond 具体是怎么造的

2.1 1D-Brohan:一个 token 只管一个自由度

2.2 两阶段之外,还有一层推理加 RFT

03    分数背后的真实增益

3.1 NAVSIM 上站到了什么位置

3.2 增益集中在碰撞,不在全程

3.3 另外两个基准的表现

04    它是条件,不是蒸馏

4.1 三组对比说清了机制

4.2 pause token 实验:它到底有没有学到语义

05    写在最后


自动驾驶 VLA 模型存在一个常被忽略的结构性错位:输入的自然语言驾驶指令描述的是“动作”(如让行、保持、左转),而模型最终输出的却是“自车状态”(未来几秒的连续坐标 x、y 和朝向)。中间那层动作语义,通常只能依靠模型在冗长的推理文本中自行消化。

来自北航、清华 AIR、滴滴等团队的 AutoVLA-D 抓住了这一断层:在最终输出连续轨迹之前,插入一段离散的轨迹几何条件(TrajCond)。让动作 token 先清晰表达局部运动变化,再由其去约束连续轨迹的回归。该方案在 NAVSIM navtest 上拿到 92.0 PDMS、86.8 EPDMS,在 nuScenes 和 NeuroNCAP 上也各有提升。

但比分数更有意思的,是它给出的一个反直觉结论:将轨迹切成离散动作 token 直接作为输出,性能会变差;但将同一串 token 放在中间作为条件,效果却强于任何连续条件。

01    先看清这个错位在哪

1.1 两种轨迹表示,各有各的短板

现在自回归 VLA 的最终轨迹大致分两派。一派把每个未来自车状态序列化成数字文本航点,也就是连续轨迹;另一派把每步的状态转移编成离散动作 token,再靠时间积分还原轨迹。

  • 离散派的问题在于:离散化本身带重建误差,K-Means、K-Disks 这类共享码本在训练集和测试集上的误差差距还挺明显。论文对比了多种离散化方式,结论是直接回归离散轨迹,稳定弱于直接回归连续轨迹。
  • 连续派的问题在于:指令里的让行、减速、转弯,本质是局部动作,而输出是绝对状态。模型得自己把动作语言翻译成状态数字,这层翻译没有任何显式约束。

1.2 把离散轨迹挪到中间,而不是终点

AutoVLA-D 不去争论哪种表示更好,而是让两者各干各的活。最终输出仍然是连续轨迹,保留它更强的回归精度;中间加一层离散动作序列,专门承载动作语义和局部几何。

论文把这个中间层叫 TrajCond,训练拆成两个监督阶段。第一个阶段只做一件事:给定图像和指令,让模型预测出动作 token 序列。第二个阶段在动作序列的条件下,回归最终的连续航点。第二阶段从第一阶段的权重继续训,不是两套模型。

这样拆的理由很直接。新造的动作词表在预训练模型里没有任何驾驶相关初始化,直接拿去当条件用,等于让一个没学过这套词汇的模型同时干两件事。先单独把词的语义学出来,再用它去做条件,收敛更稳。

02    TrajCond 具体是怎么造的

2.1 1D-Brohan:一个 token 只管一个自由度

轨迹有三个自由度:x、y、朝向。

常见做法是把三维局部运动向量塞进一个共享码本,一个 token 表示一次三维位移。

这篇用的是 RT-2 那套逐维离散化:对 x、y、朝向各自统计训练集 1% 和 99% 分位,均匀切 256 个桶,三个码本合计 768 个 token。也就是说,同一个时间步由三个 token 共同描述,每个 token 只负责一个维度的位移。

选这套的理由来自实测:它的重建误差最低,训练集和测试集的误差落差也最小,用作 TrajCond 时分数最好。这个细节值得记一笔,规划表现并不完全由重建误差决定,K-Means 和 K-Disks 的对比就出现了重建更准但规划更差的情况。

真值轨迹转 token 的过程是逐步贪心的:从当前位姿出发,为每个维度先挑四个残差最小的候选,凑成 4×4×4 的候选元组,用渲染后的框角点平均距离去选最优。这样把穷举 Q³ 的搜索量压了下来。

2.2 两阶段之外,还有一层推理加 RFT

NAVSIM 上还叠加了链式推理。第一阶段输出顺序是推理文本再到动作 token,第二阶段是动作 token、推理、连续航点。第三阶段用 GRPO 做强化微调。

nuScenes 和 NeuroNCAP 不用推理,只跑两阶段 SFT,为的是和基线公平对比。这个设置差异在读数时要注意:NAVSIM 的高分里,有一部分来自推理和 RFT,不全是 TrajCond 的功劳。论文自己的逐步分析表也把这条路径拆开列了。

表 | NAVSIM 上 Qwen3-VL-4B 的逐步性能提升

03    分数背后的真实增益

3.1 NAVSIM 上站到了什么位置

公开 PDMS 口径下,AutoVLA-D 92.0,同期 FLARE 91.4,复现的 ReCogDrive 90.7,Curious-VLA 90.3,DriveVLA-W0 90.2。EPDMS 口径 86.8,FLARE 86.3、DriveVLA-W0 86.1、Curious-VLA 85.3。

表 | NAVSIM navtest 公开指标设定下的 PDMS 结果

表 | 按官方 EPDMS 协议统计的 NAVSIM navtest EPDMS 结果

PDMS 这类综合指标已经把舒适、效率、进度揉在一起,90 分上下的方法彼此差距在 1 到 2 分区间,单看总分很容易得出「全面领先」的错觉。拆到子项就露馅了:EP 91.2 是表内最高,但 EC 只有 80.2,明显低于 FLARE 的 87.5 和 Curious-VLA 的 81.5;DDC 98.8 也低于多数对手;C 98.2 同样不占优。

换句话说,它的 EPDMS 提升主要来自 EP 这一项,而舒适类指标是退步的。

3.2 增益集中在碰撞,不在全程

论文自己也做了归因:和结构最接近的 Curious-VLA 相比,主要差距来自碰撞率下降。

三类高层意图下,NC×DAC 失败乘积率:直行 3.82% 降到 2.54%,降 33.6%;左转 2.03% 降到 1.47%,降 27.6%;右转 1.68% 降到 0.97%,降 42.2%。这些场景的共同点是指令层面已经做对了,问题出在局部控制精度,轨迹贴着障碍物或压线。

图 | NAVSIM navtest 上的碰撞案例与 NC×DAC 失败乘积率:左侧为直行、左转、右转三类高层意图下的典型碰撞场景,右侧为连续轨迹与 Brohan TrajCond 的失败率对比

这也解释了为什么 EC 会掉:模型把注意力放在了避碰的局部修正上,平顺性让位。对安全类指标是好事,对乘坐体验不是。真实量产里这两者要一起看。

3.3 另外两个基准的表现

nuScenes 开环上,L2 已经基本饱和在 0.30 米附近,方法之间拉不开差距,碰撞率更有区分度:Qwen2.5-VL 版 0.09,去掉 TrajCond 是 0.11;UniAD 口径 0.29 对 0.34。

NeuroNCAP 闭环上,Qwen2.5-VL 版 NeuroNCAP Score 3.63,碰撞率 0.36,去掉 TrajCond 分别是 2.76 和 0.49。这个基准的统计口径和多数闭环指标不同,数值不能跨论文直接比大小,但同一模型加不加 TrajCond 的对照是干净的。

04    它是条件,不是蒸馏

4.1 三组对比说清了机制

论文的顺序验证值得单独说:连续轨迹基线弱于单阶段 Brohan TrajCond,单阶段又弱于两阶段,也就是 C < B-TC(1) < B-TC;而 Brohan 直接当输出时弱于连续,也就是 B < C。

两个不等式合起来给出一个结论:收益不是把离散轨迹的知识蒸馏进连续输出,也不是因为输出变长或多了一项辅助损失,而是离散序列作为条件本身在起作用。

表里还有一组更干脆的对照。把连续轨迹当条件,EPDMS/PDMS 是 83.2/89.0;换成 Brohan 当条件,84.9/90.6。同样是两阶段、同样三加三的轮次,只换条件形式,差 1.7 和 1.6 分。

4.2 pause token 实验:它到底有没有学到语义

这一组设计得比较巧。第二阶段本来还有推理文本可以看,作者把推理文本整段换成无意义的 pause 占位符,逼模型只能靠 TrajCond 来预测。

结果是没有推理文本反而不掉反涨,85.3/90.5,比带推理的 84.9/90.6 基本持平、EPDMS 还略高。再叠加 RFT 就掉到 84.1/89.1。这说明 TrajCond 确实吸收了动作语义,能替代一部分重复注入的推理文本;但在强化微调阶段,它替代不了完整推理,没有可靠推理支撑的 RFT 反而更难涨。

困惑度分析给了另一半证据:把动作 token 换成 pause,连续轨迹的困惑度上升;把推理换成 pause,上升更明显。两者都在降低解码不确定性,只是分工不同。

t-SNE 也支持这个判断。按运动方向或速度行为着色,不同类别之间能看到边界,但同类样本并没有坍缩成一个紧凑的点,说明这层表示携带的语义比动作标签本身更丰富。

图 | 用作 TrajCond 的离散轨迹隐状态 t-SNE 可视化:左图按指令运动方向着色,右图按速度行为着色

图 | 动作 token 的轨迹条件形式分析:每组码本规模对应重建误差曲线与 EPDMS/PDMS 柱状结果,左轴为轨迹重建误差,右轴为 EPDMS/PDMS

05    写在最后

这篇工作真正有意思的地方,是把一个老问题问得更细:离散和连续不是二选一,而是可以分层放置。离散表示擅长表达局部动作变化,连续表示擅长精确回归绝对状态,把它们串成条件和输出,比强行选一个更合理。

但它也留下了一个值得追问的点。既然 TrajCond 已经能替代部分推理文本,为什么在 RFT 阶段又替代不了?这背后可能是强化学习对奖励信号稀疏性的敏感,也可能说明动作 token 承载的语义还不到推理的抽象层级。这个问题的答案,大概比再涨一个 PDMS 点更有价值。

参考论文:

论文标题:AutoVLA-D: Learn a Trajectory-Geometric Condition from Reasoning for Autonomous Driving VLA

论文链接:https://arxiv.org/pdf/2611.12382

代码链接:https://github.com/ShivaTeam/AutoVLA-D

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐