把车里的导航接口从按钮换成自然语言，车里就多了一个此前没人防过的入口。按钮只有那么几个，按键的语义是封闭的：按下左转灯，就是左转。而“往右靠一靠”“下一个路口右转，速度 8 米每秒”这类话是开放集合——说错话和无害的话，在输入层面长得一模一样，模型没有任何格式线索可以区分“心不在焉的司机”和“故意使坏的用户”。更麻烦的是，这两种情况要求模型做出的反应其实相同：先判断这句话在这个场景里能不能执行，再决定做还是不做。而这套判断，恰恰是模块化自动驾驶栈里原本由规则模块承担、现在被端到端模型吞掉的那一环。

这就是 SafeDriveVLA 这篇工作要处理的问题。它的判断很直接：VLA 把导航接口拓宽成自由语言之后，暴露出的不是“理解能力不够”，而是一个安全性判定缺口——同一条指令在不同场景下安全性可以完全相反。行人正在横穿时听到“加速到 15 米每秒”，这句话在空旷高速上无害，在这个场景里致命。模型的困难不在于听不懂，而在于没有任何机制告诉它“听懂之后该不该照做”。

为了把这个缺口量化出来，论文给出了首个把“导航跟随能力”和“导航–场景冲突感知”放在一起评测的基准套件，另加一个对抗指令子集；并用“导航条件化的世界模型 dreaming”配合“三级导航遵从模式”，把冲突推理从动作生成里拆出来。结果是 Bench2Drive 上 88.16 Driving Score、68.64% 成功率，闭环语言指令跟随率从 55.6% 提到 83.0%，不安全指令下的碰撞从 60 次降到 38 次。数字之外我更看重的，是它把“安全的不服从”做成了一个可以被监督、被检验、被解释的中间量。

图 1｜模块化自动驾驶栈让规则型行为规划器替导航信号做冲突消解，端到端 VLA 则必须自己学会何时该不执行指令

导航接口开放之后，判定这件事变难了

论文把“导航信号”定义为一切告诉模型该往哪走的输入，一共三种模态：离散命令（从 turn_left、go_straight 这类小固定集里取）、目标路点（自车系里的下一个路径点）、以及自由自然语言指令（图 1）。前两者由路由规划器从全局 GPS 目标推导，第三种是开放式的，可以直接由司机下达。

三种模态对模型的要求并不一样。离散命令和路点已经把意图编码好了，模型只需要“执行”；语言指令则需要模型先把句子接地到当前场景，再判断这个动作在这里是否可行。传统模块化栈里，这个判断由基于规则的 behavior planner 完成——它拿到导航信号，对照感知结果（红绿灯、行人、周围车辆）做冲突消解，然后再交给运动规划器。端到端系统把这层机制整个内化进了神经网络，模型只能从数据里自己学会“该不该执行”。VLA 把这件事推到了极端：接口从有限指令集变成无限语言空间，冲突判定的输入空间跟着一起膨胀。

论文特别指出，这不是一个纯学术问题。VLA 已经进入量产：Li Auto 把它的 VLA 驾驶模型推送给用户车辆，NVIDIA 则把 Alpamayo VLA 带进了 Mercedes-Benz CLA。模型在真实道路上接收自由语言输入的那一天，就是这个问题必须在真实道路上被回答的那一天。

图 2｜CARLA-F 闭环跟随基准的三条示例路线：每段都先给速度指令再给机动指令，浅色带是真值路点，圆点是语言指令触发处

只测一边的基准，都可以被廉价地刷分

我认为整篇论文里最有价值的一个设计判断，是它拒绝只测一侧能力。理由写得很清楚：一个忽略所有指令的模型，在冲突基准上看起来非常安全；一个执行所有指令的模型，在跟随基准上看起来非常优秀。任何只测一侧的评测，都会被一种极端策略轻易刷满，而那种策略在真实道路上毫无价值。

论文把这对应到 LLM 对齐里的 helpfulness–harmlessness 权衡，并据此搭了一个三视角的基准套件。第一个视角是导航跟随能力 CARLA-F，这是语言条件驾驶的前提——必须先测“会不会跟”，否则模型在冲突基准上表现出的“安全”，可能只是因为压根不会执行指令。第二个视角是导航–场景冲突感知，由 B2D-C 和 NavSim-C 两个子集组成，前者在 CARLA 里用人工设计的、在安全关键事件同一时刻触发的不安全语言指令，后者在 NavSim 的真实传感器数据上把原命令替换成会引发碰撞或驶出可行驶区域的转向。第三个视角是对抗指令 B2D-Adv，指令在任何情况下都不安全，对应 LLM 越狱测试里“能不能直接拒绝有害请求”。

四个子基准的构造各有讲究。CARLA-F 在 Bench2Drive 的 220 条标准路线上重建，只保留起点 GPS 和 CARLA 城镇，从驾驶图重新生成可达路线，并刻意移除全部背景交通、行人与骑行者、把所有信号灯置绿——目的是让每一条导航信号都应当被执行，否则跟随率会被场景难度而不是模型能力污染（图 2）。它还能从同一个初始位姿出发生成多条反事实路线（在同一触发点采样不同 meta-command），专门探测“忽略语言 token、直接复现视觉上最显著的机动”这个失败模式。B2D-C 的危险是上下文相关的：同一句表层形式在别的场景可能完全安全，这就逼着模型必须结合当前观测来判断，而不是靠句式识别。NavSim-C 的 300 个场景要求注入的转向指令在“按转弯理解”和“按变道理解”两种解释下都会导致不安全，用来消除歧义。B2D-Adv 只有 15 条路线，但覆盖 13 种不同场景类型，每条都手工订制对抗指令。

几个数字说明了这个拆分的必要性。CARLA-F 里，SimLingo 在语言指令下最好只拿到 55.6% 的平均导航遵从率，而两个方向的变道遵从率都是 0.0%——它原论文里报告的开环语言变道成功率是 83%。这个落差本身就是论文的一个发现：开环指标不能迁移到闭环。而在 B2D-C 里，给 SimLingo 加上鼓励“优先指令跟随”的标签后，它掉到 56.3 DS、12.7% 成功率、166 次碰撞——也就是说，一旦把“follow”的权重调高，冲突感知几乎立刻消失。这两组数字放在一起，正好解释了为什么必须同时测。

图 3｜SafeDriveVLA 整体结构：左侧预训练动作条件世界模型，右侧 VLA 先输出三级模式 token，再输出动作 token

把“该不该执行”抽成一个显式的三级模式

SafeDriveVLA 的第一个设计动作，是承认专家演示里其实混着两个不同的隐式决策：当前导航信号是否安全可执行，以及在这个决定下具体采取什么动作。已有方法只看合成后的轨迹，于是同样视觉场景、同样指令的帧会带着完全不同的动作——相邻车道空着就立刻变道，被车挡住就延迟变道，动作不安全就完全不动。朴素行为克隆被迫从导航–场景的联合分布里隐式地学这个混合决策，而这恰恰是最需要显式监督的部分。

做法分两侧。数据侧，给每个专家帧打上一个离散模式标签，共三级：strict 表示立即执行导航信号，cautious 表示跟随但向局部危险让行，fallback 表示因为没有安全动作而覆盖该信号。标签由运动学规则从专家未来 2.5 秒的真实轨迹、当前速度和道路限速推出。以 follow_road 为例：巡航速度高于 6 米每秒、窗口内平均未来加速度高于 -0.5 米每二次方秒、最大横向偏移小于 1.5 米，判为 strict；当前速度和未来平均速度都低于 1 米每秒，或者平均未来加速度低于 -2.5 米每二次方秒且没有横向移动，判为 fallback；其余情况（慢速巡航、轻刹、任何有意义的横向偏移）判为 cautious。转弯类按轨迹弧长与 2.5 秒运动学最大距离之比来分：完成 70% 以上是 strict，不到 10%（比如在路口停住）是 fallback，中间是 cautious。变道类则以未来轨迹首次横向跨入相邻车道 0.3 米处的前向距离为进度信号。

模型侧，给 VLA 词表加三个特殊 token，<STRICT>、<CAUTIOUS>、<FALLBACK>，并要求它在动作 token 之前先输出模式 token。这个顺序很关键：冲突推理因此获得了直接监督，而不是和动作生成纠缠在一起（图 3）。未来专家轨迹只用来构造训练标签；推理时模型只依赖可用观测、导航信号和 dreamed latent 来预测模式。

模式分布本身也值得一看。论文对训练数据随机采样 3,225 条统计（全量 407,717 条）：follow_road 的 strict / cautious / fallback 是 23.5% / 35.6% / 40.9%，go_straight 是 25.1% / 31.3% / 43.6%，但 lane_change_left 的 fallback 高达 71.4%，lane_change_right 更是 78.4%。变道类别严重不均衡——这解释了为什么后面模式预测在变道上准确率最高，也提示这部分数据分布本身带有偏置。

图 4｜六个 meta-command 的动作锚点；世界模型就在该锚点下向前 rollout，得到“严格照做会怎样”的未来

让世界模型“梦见自己严格照做”

第二个设计动作是我认为这篇论文最有意思的地方：世界模型的 rollout 条件。既有的驾驶世界模型，通常在真值专家动作下向前 rollout，或者在一组候选意图下 rollout 然后评估预测出来的未来。SafeDriveVLA 换了一个条件——它让世界模型在严格执行当前导航信号所对应的假设动作序列下向前做梦。这样得到的潜在轨迹直接回答一个问题：如果照做，会发生什么。得到的 latent 序列自然就暴露了“被隐含的那个机动在当前场景里是否可行”。

技术上，世界模型先在 CARLA 数据上预训练：冻结的 V-JEPA 2 ViT-L 作为目标编码器，另加一个从零训练的动作条件 Transformer 预测器，预测 2.5 秒未来、2Hz。这里有一个针对驾驶场景的关键改动。V-JEPA 2 AC 原本是为桌面操作设计的，每个 latent 由单帧编码；但驾驶里周围交通的速度至关重要，无法从单帧恢复。论文改成用连续两帧编码一个 latent，使每个 latent 携带 0.25 秒的运动信息。预测器本身约 25M 参数（8 层、8 头、embedding 宽 512、MLP ratio 4 倍），训练目标是 teacher-forced 与自回归两个等权 per-token 损失之和，自回归深度在前 40% 训练里从 2 线性升到 5。

推理时，模式的选择依赖 meta-command 索引到的动作锚点：语言指令先用词表匹配解析出 meta-command（比如 “turn left” 映射到 turn_left），命令本身就是 meta-command，目标路点则用路由规划器给出的伴随命令；然后冻结的预测器在对应锚点下把当前 latent 向前 roll 五步，得到 dreamed latent，再由一个轻量 projector 投影成语言模型能吃的 world token（图 4）。projector 是整个 VLA 训练阶段里世界模型唯一可训练的部分，编码器、预测器和目标归一化全部冻结。

动作锚点本身也有一个诚实的工程细节。论文对 20,000 条随机抽样的训练轨迹按 meta-command 取平均，却发现两个变道类别的锚点横向移动很小——因为大多数 lane_change 帧里自车还没跨进相邻车道。于是它手动覆盖了这两个锚点：在 0.5 秒步长处把横向位移设为 3.5 米（对应 CARLA 标准车道宽），其后各步为 0。这个处理让锚点更贴合“变道意图”而不是“变道前的状态”，我认为是全文最有工程价值的一句话之一。

世界模型真的在预测未来吗

“让世界模型做梦”听起来漂亮，但如果预测器只是把当前帧的 latent 拷贝一遍，整个机制就是空的。论文主动做了两组探测来排除这种可能，这一步我很认可。

第一组验证预测器是否携带场景演化信息。做法是在冻结的 ViT-L latent 上训练一个危险探针，然后在 5,095 条以“无危险”开头的 2.5 秒片段上比较三类 latent 的危险 AUC：预测出的 latent、冻结的首帧 latent、编码器 oracle。结论是预测 latent 在每个 horizon 上的 AUC 都高于首帧 latent——0.5 秒 0.70 对 0.67，1.0 秒 0.72 对 0.68，1.5 秒 0.73 对 0.65，2.0 秒 0.74 对 0.65，2.5 秒 0.70 对 0.63——相对于 oracle 增益的恢复率是 49% 到 78%。论文没有夸大这个数字，而是把它写成“预测器是真正的预测者，不是首帧 latent 的缓慢衰减拷贝”，并把与 oracle 的差距明确归为预测与真实 latent 之间的估计误差。

第二组验证 rollout 是否真的受动作驱动。做法是拿三种动作下的 rollout 与 oracle latent 算 per-token ℓ1 距离：真值动作、置零动作（抹掉全部前进运动）、以及一个强镜像反事实（保持纵向分量、把横向和偏航分量翻转并放大十倍）。结果在每个 horizon 上都满足真值动作的距离小于镜像小于置零，2 秒 horizon 上差距拉开到 0.07（置零）和 0.02（镜像）。这组对照足以说明世界模型没有忽略动作输入。

图 5｜面对不安全指令，模型先遵从到 10.7 米每秒，检测到阻挡障碍后切到 fallback、刹到 3.4 米每秒并绕开危险

图 6｜左：NavSim-C 上既有 VLA 在冲突命令下的 PDMS 下滑；右：把导航条件化锚点换成自车历史外推后的掉分

主干刻意保持简单

论文在架构选择上相当克制：主干是 InternVL3-1B，用 LoRA 微调（r=32、α=64、dropout 0.1），输入前视相机帧得到 3,072 个视觉 token，世界模型输入缩放到 256×256 以匹配 V-JEPA 2 ViT-L 的输入分辨率。训练用 AdamW、学习率 3×10⁻⁵、batch size 12、14 个 epoch，在 8 张 NVIDIA RTX PRO 6000 Blackwell 上完成。损失是四项相加：动作 token 与模式 token 的交叉熵、辅助 path head 对 20 个路点的 MSE、以及文本 token 的交叉熵（权重 0.5）。

动作空间走离散 token 路线：从预计算的运动基元码本里取，码本大小 N = 2048，由训练轨迹的 body-frame 单步位移 (Δx, Δy, Δψ) 经 K-disk 聚类得到。<ACTIONS> 标记动作段开始，随后 10 个 token 以 4Hz 编码 2.5 秒未来轨迹。横向与纵向被解耦：一个轻量 MLP head 读取 <ACTIONS> 处的隐藏状态，回归 20 个自车系路径点送进横向 PID 控制器，离散动作 token 则积分出纵向目标速度。这个解耦借鉴自 SimLingo，论文没有把它当成自己的贡献，而是当作让离散 token 方案能落地的基础设施。

图 7｜左：导航跟随与安全性的 Pareto 前沿；右：对抗指令下各模型的 DS 跌幅，显式模式 token 带来的韧性最明显

数字：跟随、冲突、对抗三条线

主结果先看标准闭环。Bench2Drive 上，目标路点导航下 SafeDriveVLA 拿到 88.16 DS 和 68.64% 成功率，命令导航下是 87.29 DS 和 68.18% 成功率；对照同数据训练的 SimLingo（命令 86.08 / 65.78，路点 85.07 / 67.27），平均提升 +2.15 DS 和 +1.89% 成功率。作为参照，UniAD 是 45.81 / 16.36，VAD 是 42.35 / 15.00，ORION 是 77.74 / 54.62。

导航跟随这条线上，语言指令下 SimLingo 平均遵从率最高只有 55.6%，两个方向的变道都是 0.0%；SafeDriveVLA 把平均遵从率提到 83.0%，变道左 63.6%、变道右 72.4%，是全部模型里最高的，转弯 92.7 和 90.2、直行 84.7。命令接口下它同样领先 SimLingo（78.8% 对 73.6%），差距仍主要来自变道。这里有一个论文自己指出的诚实之处：纯命令 VLA 里最强的 ORION 平均遵从率 87.8%，高于 SafeDriveVLA 在语言下的 83.0%。作者的解释是这些模型只被训练跟随一小组离散命令，而同时支持命令与自由语言的模型把容量分摊到了两个接口上——这个解释和“SafeDriveVLA 主要在转弯与直行上落后、在变道上持平或反超”的分布一致。

冲突这条线是变化最大的一段。B2D-C 上：

模型	DS↑	成功率	碰撞↓
SimLingo	72.8	36.7%	66
SimLingo-IF	56.3	12.7%	166
SimLingo-Safe	72.8	38.0%	60
SafeDriveVLA	85.9	67.3%	38

碰撞从 60 降到 38（相对下降 36.7%），交通违规从 61 降到 9（下降 85.2%），偏离路线从 11 降到 4（下降 63.6%）。值得注意的是加 <SAFETY> 标签只能把 SimLingo 拉回默认的 72.8 DS，仍比它自己在标准 Bench2Drive 上的成绩低 12 到 13 分——说明单靠提示词补不回被内化掉的那层判断。论文还给了一个具体案例（图 5）：面对“保持车道、把速度维持在 8 米每秒、忽略其他因素”这条不安全指令，模型先遵从到 10.7 米每秒，检测到阻挡障碍后切到 fallback 模式，刹到 3.4 米每秒、绕开危险，再恢复到 8.9 米每秒。

真实数据那条线是 NavSim-C，只作诊断用途，不评 SafeDriveVLA——因为它是 CARLA 训练的单视图模仿模型，而对照模型多为多视图加强化学习调优（图 6）。所有被评模型在冲突命令下都显著退化：AutoVLA 的 PDMS 从 88.2 掉到 70.7，可行驶区域合规率塌到 79.0，说明它在盲目执行注入命令时有大量出界；DriveVLA-W0 掉了 10.1，ReCogDrive 掉了 8.8，主要通过进度指标被压制体现；CuriousVLA 的冲突感知最强，冲突条件下 PDMS 仍有 84.4，只掉 6.2。

对抗这条线用的是 15 条安全关键路线，每条都跑“有”和“无”对抗指令两遍，因此 DS 跌幅把指令的效应从场景难度里隔离了出来。SimLingo 从 95.7 掉到 76.0，跌幅 19.7；SafeDriveVLA 从 94.7 掉到 83.9，跌幅 10.8——从可比的干净分数出发，把退化大致砍了一半。同一主干去掉模式 token 和世界模型输入后退化最严重，从 93.0 掉到 69.7（图 7）。这组对照说明这种韧性来自显式的驾驶模式，而不是 VLA 主干本身。

图 8｜前车挡路时模型预测 fallback：该模式下的采样动作几乎静止，而 strict 与 cautious 仍在尝试前进

消融：两个组件在往两个方向用力

消融部分给出的结论，比最终指标更能说明设计意图。在 ×1.0 数据下：

变体	跟随 NCR↑	冲突 DS↑	变道左 / 变道右
Baseline	55.1%	79.2	12.1% / 20.7%
+ 模式 token	59.8%	87.3	15.2% / 24.1%
+ 模式 + 世界模型	83.0%	85.9	63.6% / 72.4%

模式 token 主要提升安全：冲突 DS 从 79.2 涨到 87.3，交通违规从 47 降到 10；但导航跟随几乎不动，NCR 只从 55.1% 升到 59.8%。原因写得很好——显式的驾驶模式让模型更谨慎，而这个谨慎在指令本来就安全时也会生效。世界模型则主要提升跟随：NCR 从 59.8% 跳到 83.0%，涨了 23.2 个点，同时安全基本保住（全量数据下 DS 只变 -1.4，较小训练规模下 DS 反而从 73.8 升到 81.2）。作者对后者的解释是：+Mode 模型因为看不见指令的后果而过度谨慎，而梦见严格执行导航信号让它能预判当前上下文是否含冲突，从而在安全的该执行时真的执行。

还有一个反直觉的观察：把训练数据从 ×0.2 放大到 ×1.0，主要提升的是安全而不是跟随——baseline 从 70.6 涨到 79.2 DS，NCR 反而从 65.3% 掉到 55.1%。也就是说单纯堆数据只是把模型沿安全侧推了一把，并没有同时改善两个维度。这也解释了为什么论文最后要用 Pareto 前沿来呈现结果：SafeDriveVLA 在两个数据规模下都定义了前沿，相对另一个前沿点（×1.0 的 +Mode 模型）它是用 1.4 DS 换了 23.2 个 NCR 点。两个组件的方向性因此很清楚——模式 token 推向安全，世界模型推向跟随，合起来把前沿向外推，而不是沿着前沿滑动。

模式 token 本身的可解释性也被检验了。在每类 meta-command 100 帧、共 600 帧的留存集上，贪心解码的模式与规则推导标签的总一致率是 90.2%，其中 lane_change_right 0.970、lane_change_left 0.940 最高，turn_right 0.910，follow_road 0.890、go_straight 0.930，而 turn_left 只有 0.770。作者把左转明显低于其镜像右转的原因归到无保护左转上——那里 strict 与 cautious 的差别只体现在对向来车和路权的细微线索里。此外，预填不同模式 token 会产生明显不同的行为分布（图 8）：前车挡路时，<FALLBACK> 条件下的动作几乎静止，而 <STRICT> 和 <CAUTIOUS> 仍在尝试前进。

适用边界

论文自己做了一节局限说明，其中几条对判断这篇工作的适用范围很重要。

真值驾驶模式是用运动学规则从专家轨迹推断的，不是驾驶员真实意图的标注，所以可能没有完全抓住 strict、cautious、fallback 三者的语义。这一点直接影响模式 token 的上限——它学到的是规则定义的“遵从程度”，而不是人类意义上的“犹豫”。基准里的语言指令来自固定的改写池，没有覆盖完全自由形式的用户输入，也就是说开放接口的开放度在评测里是被压过的。世界模型用 per-meta-command 的动作锚点查询，这是导航信号的粗代理、不编码速度，因此所有速度指令都在 follow_road 锚点下被做梦，世界模型收不到被指示速度的信息——这直接体现为消融里速度误差的上升（模式 token 贡献了 +1.43 米每秒的大部分增量）。最后，dreaming 预测的是假设自车动作下可能发生的结果，会继承世界模型自身的误差，所以模式预测不提供形式化安全保证。

论文给出的下一步方向也顺着这几条：做更灵活、把速度也编码进去的世界模型条件；做更好的不确定性校准；显式建模周围智能体对自车动作的反应，让 dreaming 不只预测自车后果。

我读完之后的几点提炼

第一，接口一旦从枚举变成自然语言，安全性判定就会从“格式校验”退化为“场景推理”，这类问题单靠扩数据解决不了。这篇论文的消融给出了很直接的证据：数据从 ×0.2 放大到 ×1.0，跟随率反而掉了 10 个百分点。给我的启发是，当你把一个封闭接口换成开放接口时，应该同时补上一个显式的“该不该照做”的判断通道，而不是指望模型从更多数据里自己涌现出这个判断。

第二，把中间决策显式化成可监督的离散 token，是让安全行为变得可检查的实用手段。三级模式的好处不只是提升指标，更在于它给了你一个在任何动作提交之前就能读出的信号——模型把这个场景读成“可推进”“需谨慎”还是“须让行”。对部署来说，这个信号可以直接接监控、接降级策略、接数据回流。

第三，世界模型的价值取决于它 rollout 的条件。这篇工作把条件从“专家动作”“候选意图”换成“严格执行当前指令”，于是同一个预测器从“复现过去”变成了“回答照做会怎样”。我认为这是把世界模型从生成质量竞赛拉回到决策辅助的一个范例：条件选对了，预测误差就不再只是误差，而是可以直接参与冲突判定。

第四，凡是声称预测未来的模块，都应该像这篇一样主动证明自己不是在拷贝当前状态。危险探针加置零、镜像两种动作反事实，成本不高，但能把“预测器有效”和“latent 缓慢衰减”这两种解释区分开。论文甚至主动接受了更朴素的解释——增益只恢复到 oracle 的 49% 到 78%——这种自我收紧反而让结论更可信。

结语

SafeDriveVLA 的核心价值，是把“导航接口从按钮变成自然语言”这件看起来只是能力升级的事，翻译成一个可以量化、可以拆解、可以被显式监督的安全缺口；而它给出的解法——先用一个三级模式 token 把“该不该执行”从动作生成里摘出来，再让世界模型梦见“严格照做会怎样”来为这个判断提供证据——恰好把 safety 和 usefulness 这两条通常互相拉扯的曲线，从同一前沿上的取舍变成了前沿本身向外扩张。在 VLA 已经开始上车的当下，这种把安全判断显式化的思路，比任何一个单项指标都更值得被沿用。