【World Model】自动驾驶世界模型综述：World Models for Autonomous Driving Initial Survey

Felaim

274人浏览 · 2026-10-22 10:30:49

Felaim · 2026-10-22 10:30:49 发布

先抓住一句话
世界模型学习“环境如何随时间和动作变化”，让系统能够先预测不同动作的后果，再用这些预测生成训练场景、学习驾驶策略或辅助选路。这篇论文整理了这条技术路线的基础结构、代表方法和困难，属于早期综述。

原文：arXiv v3 · HTML 全文 · 期刊 DOI
本地 PDF：打开原文 PDF
所属目录：00-索引

阅读范围与证据边界
本笔记依据公开的 2024-05-07 v3，17 页整理，初稿发布于 2024-03-05。它展示的是当时的研究版图，不能当作 2026 年的完整技术清单。以下“原文”对应综述章节；“直观解释”“工程判断”是帮助理解的补充。本文没有复现模型或执行驾驶评测，代表方法的成绩也不构成真车验证。

术语与图 3 专页
MDN、VAE/MAE/DAE、RSSM、ELBO、JEPA、STPT、CVAE 和图 3 详解。

1. 论文到底想解决什么问题？

驾驶时只看清“前面有一辆车”还不够，还要判断：“它会不会变道？如果我继续加速，两秒后会怎样？”

举一个教学示例：自车靠近路口，前方车辆有可能直行，也有可能左转。系统考虑继续前进、减速、停车三个动作。

感知：判断现在有什么、在哪里。
预测：推测环境和其他交通参与者接下来如何变化。
规划：比较动作后果，决定自己怎么走。
控制：把决定转成转向、油门、刹车等执行信号。

世界模型主要承担环境表示与演化预测；它可以与规划、控制共同训练，也可以单独用作生成器。有世界模型不等于已经有完整驾驶系统。

可以用下面这个教学公式理解动作条件下的预测：

$p_\theta(s_{t+1:t+H}\mid o_{\le t},a_{t:t+H-1})$

这里 $o$ 是已经看到的观测， $a$ 是候选动作， $s$ 是待预测的环境状态， $H$ 是向前预测多少步， $\theta$ 是训练得到的模型参数。 $p$ 表示未来有多种可能，并非唯一答案。它是便于理解的统一写法，不是原文要求所有模型采用的公式。有些工作只给文本、地图等条件，未提供足够精确的动作控制。

2. 这篇综述的贡献和结构

原文没有提出一个叫“Initial Survey”的新模型，也没有训练一套统一模型证明所有方法孰优孰劣。主要贡献是建立阅读地图。

原文章节	内容	阅读时要回答的问题
I Introduction	控制、内部模型、学习式预测的背景	为什么驾驶需要预判动作后果？
II-A Architectural Foundations	四类功能模块，RSSM 与 JEPA	模型如何表示世界、记住历史、预测未来？
II-B Broad Spectrum Applications	游戏、机器人、视频等应用；Table I	驾驶方法借用了哪些通用技术？
III-A Driving Scenario Generation	生成驾驶视频和其他场景表示	能生成什么，条件能控制什么？
III-B Planning and Control	模仿学习、强化学习、候选轨迹评估	预测结果怎样真正影响动作？
III-C Conclusion	不同任务与评测的比较困难	为什么不能只按一个分数排榜？
IV Challenges and Future Perspectives	记忆、泛化、计算、安全与社会责任	从演示走向部署还缺什么？

原文 Fig.2 看功能框架，Fig.3 看 RSSM，Fig.4 看 JEPA，Fig.5–6 看驾驶应用与演进路线。来源：II 节、III 节。

3. 四类功能模块：看、记、预测、行动

原文 II-A 给出概念框架；各论文实现不一定严格拆成四个独立网络。

模块	白话解释	在驾驶中的意义
Perception，感知	将传感器输入编码成容易处理的表示	把图像等变成特征，不必每次处理所有像素细节
Memory，记忆	保留与当前判断有关的历史	从多帧推断运动，保留暂时被遮挡对象的信息
World Model，世界模型	推断未观测信息，预测环境演变	比较不同条件或动作下的未来
Control/Action，控制与动作	根据目标、记忆和预测选择动作	避免碰撞、沿路线前进，并交给执行系统

这是帮助理解的闭环示意，不是每种方法的逐层网络图。闭环指执行之后重新观测，再做下一次决定。

潜在状态 latent 为什么重要？

latent 是模型内部的一组压缩特征。可以把它当作“关于当前场景的摘要”，但通常无法给其中每个数指定明确的人类含义。

在压缩特征中推演未来，可能比逐像素生成高清视频便宜。代价是：压缩时可能丢掉小行人、障碍边缘等对安全重要的细节。重建画面漂亮、特征预测准确、驾驶决策可靠，是需要分别验证的能力。

4. RSSM：既记得历史，又允许未来有不同分支

RSSM 全称 Recurrent State Space Model，循环状态空间模型，是 PlaNet、Dreamer 等路线中的重要结构。原文 II-A、Fig.3、公式 (1)–(5) 介绍它。

它把内部状态分成两部分：

确定性记忆 $h_t$ ：通过历史状态和动作更新，保留连续的时间信息。
随机状态 $z_t$ ：用概率分布表达尚不能确定的信息和多种未来。

“确定性”指给定输入后计算结果固定，不表示对真实未来百分之百确定。

将原文公式简化后：

$h_t=f(h_{t-1},z_{t-1},a_t)$
$z_t\sim p_\theta(z_t\mid h_t),\qquad z_t\sim q_\phi(z_t\mid h_t,o_t)$

这两个分布的差别很关键：

分布	使用什么信息	直观意义
prior，先验 $p$	历史与动作形成的 $h_t$	没看到这一帧前，先猜会发生什么
posterior，后验 $q$	历史摘要加真实新观测 $o_t$	看过新画面后，修正内部判断

训练时有真实视频，可以比较预测和实际结果；想象未来时还没有未来观测，只能靠先验继续推演。反复用自己的预测向前走，就叫 rollout，意思是“逐步展开未来”。

原文的 ELBO（证据下界，可优化的训练目标）可直观理解成两项：

让内部状态能够解释观测，即重建或观测预测足够准确。
用 KL 散度约束先验和后验，使“只靠历史猜测”和“看到真实画面后的判断”不要严重脱节。

KL 是比较概率分布差异的量。实际 Dreamer 等方法还可能预测奖励、是否终止等，具体损失和训练细节要看相应论文。

路口例子：历史摘要记住车速和前车运动；随机状态允许前车直行、转弯等分支。只给一条平均轨迹，可能错过真正危险的分支。

5. JEPA：预测特征，省去不必要的像素细节

JEPA 全称 Joint-Embedding Predictive Architecture，联合嵌入预测架构。原文 II-A、Fig.4 的重点是：把输入和目标都编码为表示，预测目标表示，而非必须生成原始图像。

直观解释：为了知道前方车辆将靠近车道线，未必需要把车漆反光和树叶纹理全画出来。

比较维度	RSSM 路线	JEPA 思路
核心关注	随时间演化的潜在状态，结合确定性记忆与随机变量	在表示空间预测缺失或目标信息
常见学习信号	观测重建、状态分布约束，按方法增加奖励等	预测特征与目标特征的一致性
与动作的关系	典型控制用法显式接收动作	是否有动作条件，要看具体模型
能否直接生成视频	通常需要观测解码器	特征预测本身不提供像素视频

这是不同设计关注点的比较，不是互斥的所有世界模型分类。也不能把所有 JEPA 都当成可直接控制车辆的完整模型：I-JEPA 预测同一图像中目标块的表示，本身并不是动作条件驾驶模拟器。

原文公式需要谨慎读
综述公式 (8) 写成参数向量减去 Hessian（二阶导矩阵）。按通常数学定义，向量与矩阵不能这样直接相减；它也没有给出标准牛顿步中的逆 Hessian 与梯度乘积。因此不要把这条式子当成 JEPA 的通用更新规则或实现依据。
本笔记保留“预测表示”的核心思想。具体训练请回到 I-JEPA 原论文及补充材料；其目标编码器采用 EMA，即对历史参数做指数移动平均。不要把综述中的高阶优化讨论理解成所有 JEPA 都必须求二阶导。

6. 驾驶中的第一条路线：生成场景

来源：原文 III-A。目标是产生有用的训练或测试场景；输出可以是视频、点云、三维占用等。

代表工作	综述强调的设计	白话理解
GAIA-1	视频、文本、动作作为条件；自回归预测图像 token	给一段驾驶视频和条件，续写不同未来
DriveDreamer	加入 HD map 和 3D 框等结构条件	用车道布局和物体位置约束生成
ADriver-I	多模态模型预测控制信号，再用视频扩散模型预测画面	交替产生动作和后续视觉场景
WorldDreamer	时空局部 patch 建模	把视觉序列切成小块，学习空间和时间关系
MUVO	融合相机与激光雷达，预测多种未来表示	同时关心图像外观和三维几何
OccWorld	在三维占用空间建模环境演化	预测未来哪些空间被什么物体占据

术语补充：token 是模型处理的离散单元；自回归指利用已经生成的内容继续预测后续内容。HD map 是包含车道等精细信息的地图。3D 框是包住车辆等物体的三维盒子。占用网格把空间切成小格，记录是否被物体占据及其类别。

生成路线有三类实际用途：增加场景多样性、补足难采集场景、提供受控测试条件。生成了罕见场景并不自动意味着下游驾驶系统变强，还要检验生成条件是否准确、物理过程是否合理，以及训练后是否改善真实或可信闭环评测。

更多细节见已有笔记：GAIA-1 精读。

7. 第二条路线：让预测真正参与规划和控制

来源：原文 III-B。关键问题变成“模型预测的未来，怎样影响最终动作？”

代表工作	接入决策的方法	阅读重点
MILE	从离线专家驾驶数据联合学习动力学与驾驶行为	模仿学习：从示范学习如何驾驶；在 CARLA 中评测
SEM2	RSSM 加任务相关语义特征筛选、平衡采样	减少无关视觉信息和场景分布不均衡的影响
Drive-WM	多视角未来生成，结合图像奖励评估候选轨迹	同一个未来场景在多相机间需要一致
UniWorld	多帧点云构建时空占用监督，用图像与激光配对数据预训练	未来占用学习能为下游任务提供表示
TrafficBots	用目标位置和潜在行为差异建模多个交通参与者	不能只预测自车，也要描述其他车辆的反应

原文还列出 Think2Drive：用学习到的环境转移构成神经模拟器，训练规划策略。这里的强化学习指通过行动得到奖励，再改进策略。它与“模仿专家动作”的学习信号不同。见 Think2Drive 原论文。不要将不同模型输入的 BEV、三维占用和原始相机画面视为同一种输入接口。

两种常见接法（教学归纳）

训练时用想象来学策略：采集真实或仿真经验 → 学习环境模型 → 在模型内部生成轨迹 → 用轨迹学习策略。部署时可以直接由策略出动作，不一定每次都生成长视频。

决策时用预测来选动作：提出候选动作或轨迹 → 预测各自未来 → 按碰撞风险、路线进度等打分 → 执行选中方案 → 接收新观测。不是表中每个方法都采用这一套流程。

工程判断：如果模型对危险情况预测过于乐观，策略可能学会利用模型的错误。因此既要评估世界模型，也要评估它驱动的完整闭环。

8. 与 UniAD、GAIA-1、SLAM、MPC 的关系

以下是概念比较，不是这篇综述对所有方法做出的实验结论。

技术或系统	首要问题	与世界模型的关系
UniAD	怎样把感知、预测、规划组织起来服务驾驶？	有未来预测任务；不能仅凭“能预测”就等同于通用可交互神经模拟器
GAIA-1	给定视觉、文本与动作，如何生成未来驾驶视频？	本文生成式驾驶世界模型的代表
SLAM，同步定位与建图	自己在哪里，环境地图是什么？	主要处理位姿和地图估计；与环境未来演化建模是不同问题，可组合使用
MPC，模型预测控制	用模型试算未来，如何选当前动作？	是控制与优化方法；内部模型可来自物理方程，也可来自学习
世界模型	环境会如何演化，可能发生什么？	提供供预测、生成、学习或规划使用的内部模型

“世界模型”描述模型能力和用途，“端到端”描述学习链路的组织方式；两者并不互斥。

也不能把“任何占用图”都叫世界模型：当前占用回答“现在在哪里有障碍”；占用世界模型还需要建模时间演化，具体是否支持动作条件要再检查。

关联阅读：UniAD 精读 · 世界模型 · 自回归世界模型-下一Token预测。

9. 怎样评价世界模型？

原文 III-C 明确指出，不同方法的任务、数据和评价标准不同，难以直接横向排名。

能力层面	应该看什么	不能由此直接推出什么
视频生成	FID、FVD 等生成分布指标；通常越低越好	某个危险对象一定被正确预测、动作控制准确
几何和语义预测	占用 IoU、语义与时序一致性等	自车一定能避碰
条件控制	改变动作后，生成结果是否按合理规律变化	已学到可靠因果机制
规划与驾驶	闭环任务完成、碰撞、违规、舒适性等	从仿真直接推广到所有真车工况