论文:Xiaomi Auto World Model 2.0: Causal World Models for Real-World Driving and Embodied Intelligence

这篇论文(小米汽车世界模型组,2026 年 11 月)的主要成果是把一个视频世界模型做成了可闭环运行的驾驶仿真器,机器人方向还处于早期。

  • 最强的结果: 用仿真器做策略闭环后训练,碰撞率从 1.2% 降到 0.4%;3D 重建(WorldRec 2.0)也明显领先对比方法。
  • 偏弱的结果: 世界模型接入规划后提升很小,机器人榜单也没有拿到第一。
  • "因果"的证据: 论文没有给出因果性的定量指标,主要靠两个定性案例。

模型是怎么做的

环节做法作用
基座继承 Wan2.2-5B 的架构、权重和 VAE复用通用视频生成能力
多视角注意力(VTA)时间注意力与视角注意力逐层交替复杂度从 O(N²T²) 降到 O(TN(N+T))
门控线性注意力(GLA)用于时间分支,每 4 层线性配 1 层标准注意力单层时间缓存减少 97% 以上,每步成本不随视频变长而增加
条件注入布局、动作渲染和场景渲染都经 VAE 编码后拼接不需要额外的控制分支
相机控制Multi-view RoPE + Fused-PRoPE同一架构支持 1–7 视角
场景记忆(WorldRec 2.0)单次前向重建静态和动态 3D 高斯,渲染结果作为生成条件稳定长时生成的几何和外观
训练预训练 → 中期训练(加控制和多视角)→ 后训练(一致性蒸馏 + 流式 DMD)最终做到两步去噪

如图所示模型的架构和训练流水线概览:

如图所示WorldRec 2.0: 点对齐交互和显式3D场景几何

效率实测(7 视角、单张 H20): 相比全注意力,GLA 方案的潜帧吞吐从 0.309 提升到 1.148 帧/秒。相比 VTA,它提速约 32%,FID 仅变差 2.3%。

如图所示数据流水线:

三类物理 AI 应用

应用世界模型的角色主要结果解读
闭环评测传感器仿真器6 个策略版本的仿真排名与实车一致,r = −0.88 / −0.84方向积极,但样本只有 6 个
闭环训练(驾驶)PPO 后训练的环境碰撞率 0.4%(基线 1.2%),成功率 96.3%,TTC 0.74 s效果最明显,但测试也在自家仿真器内
WAM 规划(驾驶)特征骨干NAVSIM PDMS 95.3,Trainval 设置下第一不接世界模型的 Base 已是 94.9
WAM 操作(机器人)视频分支骨干LIBERO Plus 平均成功率 75.0%,5 个方法中第 2未用具身预训练;第一名 GAM 为 85.5%
动作条件生成(机器人)生成器TriWorldBench 64.79,6 个方法中第 4只有轨迹精度(47.25)第一

如图所示基于因果推理世界模型模拟器的闭环训练策略架构:

如图所示世界动作模型:

需要打折看的地方

  1. "因果"主要指自回归结构。 公式 (1) 是按时间展开的条件分解,并不是结构因果模型。因果事件只有落石和追尾两个定性案例(图 7),没有反事实指标。
  2. 因果数据占比很小。 仿真引擎、视频生成和公开媒体数据合计约 7.8 万条,只占 1260 万片段的 0.6% 左右。论文没有披露采样权重,后训练阶段也不再使用这些数据(表 2)。其中 2.9 万条来自其他视频扩散模型,虽经人工审核,仍可能继承这些模型的物理错误。
  3. 闭环训练的"后果"可能不是世界模型算出来的。 自车运动来自 LQR 和二自由度运动学模型,碰撞和奖励由几何关系计算。从描述看,世界模型主要负责按布局渲染画面。论文也没有说明他车是否响应自车,而这决定了策略学到的交互是否可信。
  4. 闭环训练的提升无法完全归因于世界模型。
    • 训练和测试用同一种仿真器,只是场景不同,没有实车结果,存在过拟合仿真器的风险。
    • 论文没有和"日志回放 + RL"或 3DGS 仿真做对照。
    • 按 1000 个场景估算,碰撞是 4 起对 12 起。我粗算的双侧 p 约为 0.08(假设两组独立),论文未报告置信区间。

5. "与实车一致"的统计力度不足。

    • n = 6 时,我用 Fisher 变换粗估的 95% 区间下限,分别约为 0.24 和 0.09(按相关强度计)。
    • 论文说排名一致,但报告的是负的 Pearson 相关,且没有解释符号的含义。
    • 论文由此得出"高度可复现",但这组相关性反映的是有效性,不是复现性。

6. WAM 的榜首主要来自 Base。 世界模型只带来 +0.4 的 PDMS,其中 TTC 还从 97.0 降到 96.6,NC 不变。规划推理的延迟也没有报告,车端能否部署无从判断。

7. 两个 WAM 都没有用到"向前推演"。 机器人 WAM 用的是中期训练权重,推理时只做一次前向,动作 token 只关注首帧。驾驶 WAM 也是取潜变量特征。所以这部分验证的是表征迁移,不是因果预测。

8. "实时"没有被直接证明。 单卡 1.148 潜帧/秒,假设 VAE 时间下采样为 4 倍,约合 4.6 fps,低于训练数据的 16 Hz,而且这只算 DiT 部分。8 卡并行才可能达到实时,但论文没有给出多卡吞吐,这也意味着每个仿真实例的算力成本不低。

9. 高分模型和实时模型不是同一个。 生成质量评测(PAI-Bench、相机控制)用的是中期训练模型,闭环应用用的是蒸馏后模型。深度和分割结果则来自面向感知的预训练。

10. 部分指标并不领先。

    • 机器人榜总分 77.1 仅比第二名高 0.1,美学分在对比方法中最低。
    • nuScenes 上只有单视角长视频的 FVD 第一(125.74 对 126.86),6 视角短视频的 FVD(171.73)明显差于 MagicDrive-V2(94.84)。
    • 相机控制生成得分最高(86.35 / 70.08),但 LIBERO 相机偏移场景的成功率只有 39.6%,生成能力没有转化为操作鲁棒性。

11. 论文细节疑点。

    • 后训练精调学习率写作 2×10⁻²,而预训练是 1×10⁻⁴,疑似笔误。
    • 第 10 页和第 12 页对奇偶层分工的描述相反,可能只是索引约定不同。
    • 表 3 中全注意力没有 FID,所以"VTA 不明显损失质量"这一说法缺少直接对照。
    • 表 9 只展示排名前二的子指标(共 19 项),表 12 的 GAM 没有引用来源。

意义与后续关注点

这篇论文的价值在于打通了一条工程链路:真实数据 → 3D 重建 → 生成式仿真 → 策略评测和训练 → 与实车对照。对车企来说,闭环评测和闭环训练最接近实际落地,机器人方向目前主要是仿真榜单结果,论文没有报告真机实验。

是否真正领先,重点看其四件事:

  • 更大样本的仿真与实车相关性。
  • 闭环后训练策略的实车结果。
  • 他车响应式交互的建模方式。
  • 权重和代码是否开放:论文正文没有相关声明。
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐