本推文介绍发表于CVPR 2026的论文《Learning Vision-Language-Action World Models for Autonomous Driving》。研究团队来自上海交通大学和华为中央研究院。作者提出了视觉——语言——动作世界模型VLA-World，将未来场景生成与驾驶推理放进同一条决策链。模型先根据当前多视角画面和自车状态预测短期轨迹，再据此生成0.5秒后的画面，随后检查潜在交通风险，修正动作与未来3秒的行驶轨迹。论文构建了nuScenes-GR-20K数据集，并采用视觉预训练、监督微调和强化学习三个阶段训练模型。nuScenes实验显示，VLA-World在轨迹规划与未来画面生成上取得有竞争力的结果。消融实验进一步说明，感知、生成、推理与三阶段训练均对性能有贡献。

原文链接：https://arxiv.org/abs/2604.09059

代码链接：https://vlaworld.github.io

本推文由龚裕涛撰写，审核为王一鸣和黄忠祥

一、研究背景和主要贡献

现有视觉——语言——动作（VLA）模型可将道路感知、语言推理和轨迹规划整合到一个框架中，但对周围交通参与者的时序变化缺少显式建模。如图1，世界模型擅长生成可能的未来画面，却通常难以判断生成的情景是否安全、是否值得执行。城市道路上的决策既要能“看到下一步”，也要能检查这一步的后果。VLA-World因此把由动作引导的未来画面生成作为推理证据，先提出短期行驶设想，再审视设想中可能出现的风险，最后给出轨迹。

图1 VLA、世界模型与VLA-World的流程对比

论文主要贡献：

(1)构建生成与推理统一的驾驶框架。VLA-World将感知、短期预测、未来画面生成、反思推理和规划串成一条流程，使模型在输出最终轨迹前利用自己生成的未来画面检查决策。

(2)用短期轨迹约束未来画面。模型先预测自车下一时刻的位置和行驶方向，再以此为条件生成对应视角的未来画面，让视觉想象与待执行动作相联系。

(3)构建nuScenes-GR-20K数据集。研究从nuScenes整理约2万条面向未来画面生成与推理的样本，支撑监督微调和强化学习。

(4)设计三阶段训练策略。首先，视觉预训练先激活多视角图像生成能力。接下来，监督微调建立完整的驾驶任务链。最后，基于GRPO的强化学习再通过多项奖励优化输出与规划。

(5)在规划与生成任务上验证效果。论文在nuScenes上比较规划误差、碰撞率、未来画面FID和动作分类F1分数，并通过消融实验分析各模块的作用。

二、研究方法

2.1框架概览

如图2所示，VLA-World接收六路相机画面、自车状态和导航目标，先识别交通参与者及道路边界，再预测约0.5秒后的自车位置与方向。在此条件下，模型生成下一时刻的未来画面，并从画面中分析显著目标与潜在风险。最后，模型给出驾驶动作以及未来3秒、以0.5秒为间隔的规划轨迹。生成画面在这里是供模型复核自身方案的中间证据。

图2 VLA-World的视觉预训练、监督微调、强化学习与推理流程

2.2多视角未来画面的视觉预训练

如图3，第一阶段以多视角当前画面和目标视角指令为输入，训练模型预测下一时刻的离散视觉token，再将其解码为图像。论文希望借此让模型理解不同相机视角随车辆运动而发生的变化，为后续按预测轨迹生成未来画面打基础。与只生成前视画面的做法相比，这一步强调多视角的一致性。

图3 视觉预训练：根据视角指令生成未来画面

2.3监督微调与“生成后思考”

如图4，第二阶段将感知、短期预测、条件生成、思考、动作和轨迹规划联合训练。感知模块从六路画面及自车状态中提取车辆、行人、道路边界等信息；短期预测模块估计0.5秒后的自车运动；生成模块据此给出未来画面的视觉token；推理模块再识别关键交通参与者并检查潜在冲突，随后生成高层驾驶动作与长期轨迹。训练输出以专门标签分隔各部分，使中间过程可以被读取和约束。

图4监督微调：感知、预测、生成、推理与规划串联

2.4基于GRPO的强化学习

如图5，第三阶段从监督微调模型出发，使用Group Relative Policy Optimization（GRPO）优化多步推理和规划。奖励同时检查输出格式、短期预测与长期轨迹的一致性、视觉token的可解码性、动作分类表现以及轨迹误差和运动学合理性。论文希望模型不只是复现训练样本中的动作，还能依据自己生成的未来证据调整决策。

图5强化学习阶段与结构化推理输出

三、实验结果

3.1实验设置

(1)数据集

论文在nuScenes上评估轨迹规划与未来画面生成，并构建约2万条样本的nuScenes-GR-20K用于监督微调和强化学习。模型以Qwen2-VL-2B为基础，训练包括视觉预训练、监督微调和一轮GRPO优化。

(2)评价指标

轨迹规划使用位移误差L2（米）和碰撞率（%），分别按ST-P3与UniAD的协议统计。画面生成使用Fréchet Inception Distance（FID，越低越好）。动作预测使用F1分数（越高越好）。比较时，不同协议要分开比较；在同一协议下，“加入额外自车状态”和“不加入额外自车状态”也要分开比较，不能混在一起。

3.2对比实验

如表1，在不加入额外自车状态的ST-P3协议下，VLA-World的平均规划L2误差为0.30米、平均碰撞率为0.10%。同组FSDrive分别为0.53米和0.17%。在UniAD协议下，VLA-World的平均L2误差为0.83米、平均碰撞率为0.16%，FSDrive分别为0.96米和0.40%。带星号的行表示使用额外自车状态，论文将其单独列示。

表1 在nuScenes数据集上的端到端轨迹规划结果

未来画面生成方面，VLA-World的FID为9.8，论文列出的FSDrive为10.1，二者在同为128×192的分辨率下比较。动作预测方面，VLA-World的前进、左转和右转F1分数分别为95.88%、74.22%和75.06%，高于表3所列的Qwen2-VL-2B微调基线。

表2 在nuScenes数据集上的未来画面生成的FID对比

表3 在nuScenes数据集上的动作预测性能

如图6，论文还展示了与FSDrive的未来画面可视化比较。作者报告，按预测轨迹和方向生成的画面更清晰、连续，随后借助画面中的时序线索调整轨迹。这是定性示例，不能替代不同场景下的系统性安全验证。

图6 FSDrive与VLA-World的0.5秒未来画面示例

3.3消融实验

表4显示，去掉视觉预训练、监督微调或强化学习后，ST-P3的平均L2误差分别由完整模型的0.30米升至0.57、0.85和0.71米；监督微调缺失带来的降幅最大。去掉感知、生成或推理模块后，平均误差分别为0.75、0.68和0.85米。奖励项中，去掉轨迹奖励后的平均误差升至0.72米，说明直接约束规划输出的重要性。

表4 三阶段训练、任务模块与奖励项的消融结果

四、总结

VLA-World将自动驾驶中的“预演未来”与“检查后果”连接起来。用短期轨迹引导未来画面生成，再依据生成画面中的交通线索修正驾驶动作和长期轨迹。论文通过nuScenes-GR-20K与三阶段训练实现这一流程，并在nuScenes的规划、画面生成和动作预测评估中展示效果。现有证据主要来自离线基准与定性可视化；实际道路安全性仍需进一步验证。