先记住什么
Drive-WM 接受当前环视图像和一条候选驾驶动作序列，预测“沿这条轨迹开过去，各摄像头会看到什么”。再让感知模型查看这些生成视频，给候选轨迹打分，选出较合理的一条。
它的核心是多视角潜空间视频扩散 + 视角分解生成，不是 MDN-RNN、RSSM，也不是 JEPA。它确实尝试把世界模型接进规划，但论文中的定量规划指标明确是开环评测，不能读成真车闭环安全已经验证。

0. 文献、版本与阅读证据

• 完整标题：Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving。
• 作者：Yuqi Wang、Jiawei He、Lue Fan、Hongxin Li、Yuntao Chen、Zhaoxiang Zhang；项目页标记前四位为共同贡献。
• 年份与会议：2023 年 11 月 29 日首发 arXiv；作者项目页与官方代码仓库标记为 CVPR 2024。不要把首次预印本年份和会议年份混为一谈。
• 本次精读版本：arXiv v1 全文，含正文 §§1–6 与补充材料 A–D；arXiv 元数据及版本记录。查询时版本记录仅列 v1，本页所有表号和数值均按该版本记录。
• 原始材料：作者项目页 · 作者代码仓库 · 固定版本 PDF。
• 本地 PDF：Drive-WM 原文 PDF，已下载并确认 20 页；PDF 第 4 页 Fig.3 已做图像核对。

证据范围
本页是原始论文阅读，不是代码复现或实车实验。下文“论文结果”指作者报告；“直觉解释”“阅读判断”是帮助理解的归纳，不额外声称模型已有某种能力。本文不依据二手综述填补方法细节。

1. 问题：为什么已经有规划器，还要世界模型？

规划器输出未来要经过的一串位置，也就是轨迹。以 VAD 为例，它可以从环视相机图像预测轨迹。然而，模仿专家数据训练的规划器，通常见到的是“车已经在正常车道中间”的情形。

若车横向偏移了 0.5 米，模型可能没有学过如何恢复。Drive-WM 的 Fig.2 就以此为例：正常位置时轨迹合理，稍偏离后轨迹可能不合理。这里的 OOD（分布外），就是实际输入与训练时常见情况不同。

世界模型补上的是行动后果预测：

规划器提议“往这里开”；世界模型预演“这样开，未来可能看到这些”；评价器再判断“是否贴近路边、是否接近其他车辆”。

论文要解决三个实际困难：

1. 细节：仅预测几个目标框或低分辨率图片，表达不了复杂道路画面中的细节。
2. 环视一致性：六个相机不能各自编故事；同一辆车从前方进入左前方时，两路画面应该对应。
3. 条件控制：想同时控制天气、布局、当前图像和自车动作，接口不能只支持一种输入。

来源：§1、Fig.2。

2. 输入与输出：先把世界模型和驾驶策略分开

部分	输入	输出	作用
Drive-WM 的动作条件生成	当前图像、当前布局、文本、逐帧动作序列	未来多视角视频	预测某个计划的视觉后果
Drive-WM 的布局条件生成	逐帧 3D 框、地图等布局，以及所需其他条件	符合给定布局的视频	可控场景生成、模型分析
已训练的 VAD 规划器	多视角图像、驾驶指令等原有输入	候选轨迹	提供要比较的计划
基于生成图像的评价链	生成视频	目标检测/地图预测，再得奖励	评价候选轨迹
规划选择流程	多个候选轨迹及其奖励	最高奖励轨迹	进行本次决策

特别注意：逐帧未来布局已知的生成任务，比“只知道当前状态与动作，预测未来”拥有更多未来信息。论文区分了 layout-based 与 action-based 两个变体，不能把前者的生成分数直接当成后者的预测精度。§5.1–5.2

用于接入 VAD 规划的动作定义为：

$$a_t=(x_{t+1}-x_t,y_{t+1}-y_t).$$

也就是下一时刻相对当前时刻的二维位移。它不是直接控制汽车电机的油门/刹车指令。附录 A.3 另展示速度、转角信号控制；附录 C.1 也分别说明规划位移条件与车辆速度/转向数据。因此不能把所有 action 条件都写成同一种量。§3.3、§4.1、附录 A.3/C.1

3. 与刚学过的 VAE、MDN、RSSM、JEPA 怎么对应？

概念	Drive-WM 是否实际使用	本文中的位置与区别
VAE（变分自编码器）	使用，Fig.3 明确标记 VAE	把图像编码到连续潜变量，再从潜变量解码回图像；它是视频扩散的图像压缩/重建接口
潜空间 latent	使用	扩散主要在压缩后的图像特征上运行，减少直接处理高分辨率像素的成本
MDN（混合密度网络）	不是本文方法	不是用若干高斯分量输出下一个 latent 的分布；多种未来来自条件生成与扩散采样
RSSM（循环状态空间模型）	不是本文方法	没有采用 Dreamer 那种“确定性循环状态 + 随机隐状态”的核心状态转移结构
JEPA	不是本文方法	不以只预测目标表征为主要终点；它要解码生成未来图像供人或感知网络使用
自回归	有局部意义	长视频以此前生成帧作后续条件；视角全自回归分解是推导起点，但实际简化为两组视角。不是 GAIA-1 的逐离散图像 token 自回归核心
扩散 diffusion	核心	训练预测加入潜变量的噪声，推理从噪声逐步恢复未来视频

学习迁移的正确方式：可以借用“编码器把图像压缩成 latent，模型在 latent 上学习”的直觉；不能因为都叫 world model，就把 MDN-RNN 或 Dreamer 的损失、状态结构套进来。VAE 也没有包办未来动力学：本论文新增的时序、多视角去噪网络才承担未来视频生成。

来源：§3.1、Fig.3、§3.2。

4. 生成模型：按数据怎么流动来读 Fig.3

这张图是教学重绘。真实网络的空间/时序/视角模块在 UNet 的各个 block 中重复，并非全模型只经过一次 J→K→L；条件分支用于控制去噪过程，不能把条件 token 理解成未来视频本身。

4.1 空间、时间、视角分别干什么？

论文把视频写成：

$$x\in {\mathbb{R}}^{T\times K\times 3\times H\times W}.$$

• $T$：几个时刻；$K$：几个相机视角；3：RGB 三种颜色；$H,W$：图像高宽。
• 空间层：在单张图中理解路、车、纹理等内容。
• 时序层：同一相机跨时刻交换信息，让车辆连续移动而不是每一帧跳变。论文加入时序卷积和时序 self-attention。
• 视角层：同一时刻不同相机交换信息，尽量让六路画面描述同一环境。

**attention（注意力）**在这里的朴素含义是：当前特征可以根据相关性读取另一时刻或另一相机的特征。它不是显式三维物理仿真。仅加入 view attention 也不能保证重叠区域几何一致，这正是下一节的动机。§3.1

4.2 为什么要“分解视角”？

若六路同时生成，前方相机画出红车，左前方相机可能画成另一辆车。论文先把相机分成两组：

• 参考组 $x_r$：F（前）、BL（左后）、BR（右后）。
• 中间组 $x_s$：FL（左前）、B（后）、FR（右前）。

先联合生成参考组，再以相邻参考视频为条件生成中间组。例如 FL 要参考 F 和 BL。这里的 stitched view 是条件生成的新图像，不只是把两张图剪裁、粘贴。

$$p(x_r,x_s\mid x_{pre})=p(x_r\mid x_{pre})p(x_s\mid x_r,x_{pre}).$$

$x_{pre}$ 是此前视频的上下文帧。直觉上，这是先让三位“证人”提供参照，再补齐中间的画面，减小相互矛盾。概率分解带来更好的约束，仍不是严格几何保证。§3.2、Fig.4、附录 B.2

4.3 统一条件接口为何有用？

图像和布局用 ConvNeXt 编码；3D 框/HD 地图先投影到相机图像；文本用 CLIP；动作用 MLP。它们最终都成为宽度相同的特征向量，沿 token 数量维拼接，再通过 cross-attention 输入去噪网络。

cross-attention就是“正在去噪的视频特征去读取外部条件”；self-attention则是在同一类特征内部交换信息。拼接的是编码后的特征，不是把文本字符串、动作数字与图片文件直接接起来。§3.3、Eq.5

5. 训练：模型到底被要求学什么？

5.1 主要损失是噪声预测

原文 Eq.1 可理解为：

$$z=\mathcal{E}(x),z_{\tau }={\alpha }_{\tau }z+{\sigma }_{\tau }ϵ,ϵ\sim \mathcal{N}(0,I),$$

$$\mathcal{L}=\mathbb{E}\left[\Vert ϵ-f_{\theta ,\varphi ,\psi }(z_{\tau };c,\tau ){\Vert }_2^2\right].$$

1. 从真实视频编码得到干净 latent $z$。
2. 随机选择噪声强度 $\tau$，加入已知高斯噪声 $ϵ$。
3. 网络看到有噪声 latent、条件 $c$、噪声强度，预测加入了什么噪声。
4. 预测噪声与真实噪声越接近，损失越小。

两个时间别混淆：驾驶时间 $t$ 表示第几帧；扩散时间 $\tau$ 表示噪声强度/去噪进度。扩散做 50 步不表示汽车开了 50 秒。

这不是“用奖励直接训练驾驶策略”的强化学习损失。本文的图像奖励用于候选决策；后面的 OOD 规划器微调，又是以恢复轨迹作为监督的另一项实验。§3.1、§5.4

5.2 训练阶段和报告配置

阶段/配置	原文记录	应怎样理解
初始化	Stable Diffusion checkpoint	借用已经学到的图像生成能力
条件图像模型	60,000 iterations，batch 768，AdamW，学习率 $10^{-4}$	先学习驾驶图像和条件的对应
多视角视频模型	40,000 iterations，batch 32，$T=8$，学习率 $5\times 10^{-5}$	加入视频时间与视角建模；§3.1 说明冻结原空间参数、训练新增时间/视角参数
训练尺寸	原图 1600×900，顶部裁剪到1600×800，再缩放384×192	不是以原始全分辨率训练
条件 dropout	各条件以20%概率随机丢弃	支持条件组合与 classifier-free guidance
推理	DDIM 50步，$\eta =1$，CFG=5	逐步去噪；CFG用于加强条件影响
硬件	A40，正文注明48GB显存	未给出完整端到端在线规划时延保证

来源：附录 B.1–B.2。图像模型与视频模型的 iteration/batch 是两个阶段，不应混作一次训练总 batch。

5.3 数据与动作分布

nuScenes 使用700个训练场景、150个验证场景，每场景约20秒、六个环视相机。规划条件训练用真实自车位移；推理时换成 VAD 规划轨迹，这是典型的“真实动作训练，候选动作推演”。

附录 C.2 为改善稀有动作覆盖，将轨迹拆成1048个单一驾驶行为片段，根据速度和转角分箱重采样，得到7272个片段。这是重采样后的片段数，不是新增7272段独立实车采集。 这也提醒我们：原始数据中直行和常见速度占比大，动作条件模型可能偏向常见行为。

Waymo 补充展示采用前视单相机，分辨率768×512；不能把它描述为“在 Waymo 上也完成同样六视角定量验证”。附录 C.1/C.2、A.6

6. 规划：候选从哪里来，谁评分，怎么选？

6.1 候选不是世界模型自己吐出的控制动作

§4.1 描述从预训练规划器采样候选；§5.4 进一步给出实际定量设置：向 VAD 分别提供 Go straight、Turn left、Turn right 三种命令，得到轨迹，再用 Drive-WM 预测和选择。

因此本文不等于“生成视频就自动获得驾驶策略”，也不是从所有可能轨迹中保证找到全局最优解。它选择的是候选集合中的最高评分项。§4.1、§5.4、Table 3

6.2 image-based reward 并不表示全程不使用结构化感知

输入是生成图像，但主要定量实验会先用 BEVFormer 做3D目标检测、用 MapTR 预测地图，再计算：

• map reward：远离路沿、与车道中心线保持一致，约束可行驶区域和横向偏离。
• object reward：考虑与其他道路使用者在纵向、横向的距离。
• 总奖励：两者相乘，选最大者。

原文 §4.2 给出了组成与相乘规则，但本页不补写未在本文中列出的具体距离函数、权重、温度或安全阈值。评价链会同时受到视频生成、目标检测、地图预测的误差影响。§4.2

6.3 GPT-4V 在哪里？

附录 A.5/Fig.18 展示 GPT-4V 对生成视频进行安全评价，例如路面积水。它用于说明非矢量化危险因素也可能被评价。

Table 3–4 的主定量结果不是“全部由 GPT-4V 打分”的结果。 附录没有提供同等规模的 GPT-4V 定量驾驶安全基准，不能把演示当成安全认证。附录 A.5

6.4 tree-based rollout 和闭环是否一回事？

不是。rollout是沿候选动作继续推演；闭环评测则要执行选中动作，让环境真实演变，再根据新的观测继续决策，以验证误差累积和交互后果。

Drive-WM 的方法描述可反复做生成—决策来扩展树，但 §5.1 明确写采用 open-loop evaluation metrics。其定量表基于 nuScenes 记录数据，报告规划轨迹误差和对象碰撞率。本页未找到其 CARLA 闭环驾驶得分、真实车辆在线运行里程或真实闭环碰撞率。

结论强度：论文证明了“用生成未来帮助筛选候选”的开环探索价值，未完成“闭环自动驾驶安全能力”的证明。§5.1、§5.4

7. 实验结果：数字必须带着设置一起读

7.1 视频质量与跨相机一致性

FID看生成图片分布与真实图片分布的距离；FVD类似，但比较视频特征分布；都越低越好。它们不是预测未来的逐像素准确率，更不是交通安全分数。

KPM用 LoFTR 匹配相邻视角重叠区域中的关键点；以生成数据匹配点数相对真实数据匹配点数的比例衡量，再平均。94.4%不是“94.4%的物体完全正确”，更不是“94.4%安全”。§5.1、附录 D

原文表/条件	方法	FID ↓	FVD ↓	KPM ↑
Table 1(a)，视频比较，布局条件	DriveGAN，单视角视频基线	73.4	502.3	—
同上	DriveDreamer，单视角视频基线	52.6	452.0	—
同上	Drive-WM，多视角视频	15.8	122.7	—
Table 2©，同一方法消融	联合生成 Joint Modeling	15.8	122.7	45.8%
同上	视角分解 Factorized Generation	16.4	116.6	94.4%

两点阅读判断：

1. 分解后 KPM 明显提高、FVD下降，但 FID从15.8变16.4，并非所有指标都更好。这更能准确说明分解的主要贡献是跨视角一致性。
2. 表1将多视角图片与单视角视频方法分组比较；并不存在同设置 GAIA-1 生成质量结果。不能凭这张表说 Drive-WM 定量全面优于 GAIA-1。

质量评价使用150个nuScenes验证场景，将六视角拆成900段视频，每段40帧。KPM每个验证场景均匀采8帧计算。这与训练片段 $T=8$ 是不同用途的数值。Table 1–2、附录 D.1

7.2 轨迹选择的规划结果

下表是 Table 3：每行列出1/2/3秒和其平均值。GT cmd 指给 VAD 真实驾驶命令，相当于已知当前应直行还是转弯；rand cmd 指随机选命令。Drive-WM 在三条命令对应的候选间做选择。

方法	L2误差1/2/3秒（米）↓	平均L2（米）↓	对象碰撞率1/2/3秒（%）↓	平均碰撞率（%）↓
VAD，真实命令	0.41 / 0.70 / 1.05	0.72	0.07 / 0.17 / 0.41	0.22
VAD，随机命令	0.51 / 0.97 / 1.57	1.02	0.34 / 0.74 / 1.72	0.93
Drive-WM选择候选	0.43 / 0.77 / 1.20	0.80	0.10 / 0.21 / 0.48	0.26

准确结论：明显好于随机命令，接近但未超过已知真实命令的 VAD。 表中的对象碰撞率是该开环评估协议的计算结果，不能转述为真实交通事故率。L2衡量与记录专家轨迹的距离；替代路线即使合理，也可能与记录路线不同，因此L2并非全部驾驶质量。Table 3、§5.4

Table 4 奖励消融：无奖励时平均碰撞率0.93%；仅map reward为0.39%；仅object reward为0.27%；两者结合为0.26%。平均L2分别为1.02、0.85、0.80、0.80米。注意两种奖励组合对L2没有进一步改善，对碰撞指标有小幅改善。

7.3 OOD数据增强是另一件事

作者将自车横向偏移0.5米，生成偏离车道位置的图像，再用“回到车道”的轨迹监督微调规划器。Table 5 比较的是这种合成训练数据带来的规划器改进，不应与Table 3推理时选候选混成同一机制。

Table 5 条件	平均L2（米）↓	平均对象碰撞率（%）↓
正常位置，无世界模型微调	0.72	0.22
偏移0.5米，无世界模型微调	1.02	1.59
偏移0.5米，世界模型数据微调	0.82	0.91

微调确实改善偏移情况，但仍明显差于正常位置；尤其碰撞率0.91%仍高于0.22%。因此“接近正常表现”的概括应保留指标差异，不能写成完全恢复。§5.4、Table 5、附录 A.4

8. 与 GAIA-1 放在一起看

维度	GAIA-1 原论文	Drive-WM 本文
核心预测方式	离散图像token的自回归Transformer，再由视频扩散解码	连续图像latent上的条件视频扩散
压缩接口	VQ离散tokenizer，带DINO蒸馏	Fig.3的VAE编码/解码
主要相机设定	单视角视频生成	nuScenes六视角视频生成，重点处理视角重叠
动作条件	速度、曲率	接规划器时为二维位移；另展示速度/转角控制
特色	规模化序列建模，多种可控生成能力	时序/视角联合建模、参考视角→中间视角的分解
和规划器的关系	原论文重点是生成与世界建模能力	接VAD候选，生成未来并用感知奖励选择
数据背景	Wayve自有英国驾驶视频	主要nuScenes，补充Waymo前视展示
可否凭本论文做统一性能排名	无同设置对比	没有在Table 1列GAIA-1同条件结果

对照来源：GAIA-1 §§2.1–2.4；Drive-WM §§3–5。已有笔记：2026-10-16 - GAIA-1论文精读。

教学归纳：GAIA-1 更像“先在离散故事单元里续写，再渲染视频”；Drive-WM 更像“直接用带条件的多相机视频去噪器预演，再将预演接给已有规划系统”。这只是帮助记忆的类比，不意味着它们有明确的符号故事或物理因果模块。

9. 局限与容易过度解读的地方

1. 画面逼真不等于动力学准确。FID/FVD只看分布特征；危险场景里一辆小车的位置错一点，就可能改变决策，但未必大幅影响生成指标。
2. KPM不是三维重建证明。它度量相邻相机的可匹配特征，不能证明全局几何、遮挡关系、精确物体运动全部正确。
3. 有限候选限制上限。VAD没有提出安全轨迹时，奖励选择不能凭空补出一条。
4. 奖励链存在多重误差。视频漏车、检测漏车、地图预测错误都可能导致评分失真；奖励函数也未覆盖全部交通规则和舒适性问题。
5. 缺少闭环定量验证。开环轨迹误差不覆盖执行误差、长时累积、其他车针对自车行为的真实反应。
6. 不能假定实时可部署。每个候选要生成视频并再跑感知；报告50步DDIM和A40训练环境，不等于报告了车端实时规划频率。本文未提供足够证据推出Jetson等平台能实时运行。
7. 分布外证据较窄。0.5米横向偏移的合成数据实验和少量反事实视频，不能代表所有天气、城市、极端交互都能可靠预测。
8. 布局条件生成与动作条件预测要分开。给逐帧真值布局的生成实验，可控性良好，不表示模型无需未来布局就准确预测了这些目标。
9. “first”是作者的时间相关主张。本文引言中的首个多视角世界模型/首个探索规划等表述应作为原作者在该时期的定位，不用于概括整个后续领域。

以上是基于原文实验范围的阅读判断；不是新增实测发现。

10. 给初学者的复述模板

读完以后，试着不用公式回答五句话：

1. 做什么？ 已知当前环视画面和未来驾驶计划，生成计划对应的未来环视视频。
2. 怎么做？ VAE压缩图像，在latent里做带条件的时序/多视角扩散，再先参考视角、后中间视角地生成。
3. 怎么学？ 用真实视频加噪，训练模型预测噪声；先图像模型，再新增视频时间和视角模块。
4. 怎么用于规划？ VAD提出三种命令对应的候选，世界模型预演，感知网络给未来打分，选最高奖励候选。
5. 证据到哪里？ nuScenes生成质量、跨视角一致性、开环候选选择和合成OOD微调改善；没有证明真车闭环安全或实时部署。

11. 原文定位速查

想查的问题	原始位置
VAE在哪里、完整模型长什么样	PDF第4页Fig.3；§3.1
空间/时序/视角模块与损失	§3.1、Eq.1
为什么先生成三路再补三路	§3.2、Eq.2–4、Fig.4；附录B.2
动作到底是位移还是转角	§3.3、§4.1；附录A.3、C.1
候选轨迹来自哪里	§4.1；§5.4 Tree-based planning
奖励用什么感知模型与规则	§4.2；Table 4
是否闭环	§5.1 Planning evaluation明确写open-loop
主生成质量和一致性数字	Table 1、Table 2©；附录D
比随机命令好多少	Table 3
横向偏移0.5米微调实验	Table 5；附录A.4
GPT-4V贡献了什么证据	附录A.5、Fig.18，定性展示
分辨率、迭代数、batch与采样	§5.1；附录B.1
训练条件是否偷偷给了未来布局	§5.1 Model variants、§5.2；附录C.1

延伸复习：2026-10-19 - 世界模型术语与图3详解-MDN-VAE-RSSM-JEPA。

五篇对照阅读

GAIA-1、Drive-WM、Vista、LAW、OccWorld 对比与阅读路线。