Xiaomi Auto World Model 2.0 分析
论文:Xiaomi Auto World Model 2.0: Causal World Models for Real-World Driving and Embodied Intelligence
这篇论文(小米汽车世界模型组,2026 年 11 月)的主要成果是把一个视频世界模型做成了可闭环运行的驾驶仿真器,机器人方向还处于早期。
- 最强的结果: 用仿真器做策略闭环后训练,碰撞率从 1.2% 降到 0.4%;3D 重建(WorldRec 2.0)也明显领先对比方法。
- 偏弱的结果: 世界模型接入规划后提升很小,机器人榜单也没有拿到第一。
- "因果"的证据: 论文没有给出因果性的定量指标,主要靠两个定性案例。
模型是怎么做的
| 环节 | 做法 | 作用 |
|---|---|---|
| 基座 | 继承 Wan2.2-5B 的架构、权重和 VAE | 复用通用视频生成能力 |
| 多视角注意力(VTA) | 时间注意力与视角注意力逐层交替 | 复杂度从 O(N²T²) 降到 O(TN(N+T)) |
| 门控线性注意力(GLA) | 用于时间分支,每 4 层线性配 1 层标准注意力 | 单层时间缓存减少 97% 以上,每步成本不随视频变长而增加 |
| 条件注入 | 布局、动作渲染和场景渲染都经 VAE 编码后拼接 | 不需要额外的控制分支 |
| 相机控制 | Multi-view RoPE + Fused-PRoPE | 同一架构支持 1–7 视角 |
| 场景记忆(WorldRec 2.0) | 单次前向重建静态和动态 3D 高斯,渲染结果作为生成条件 | 稳定长时生成的几何和外观 |
| 训练 | 预训练 → 中期训练(加控制和多视角)→ 后训练(一致性蒸馏 + 流式 DMD) | 最终做到两步去噪 |
如图所示模型的架构和训练流水线概览:

如图所示WorldRec 2.0: 点对齐交互和显式3D场景几何

效率实测(7 视角、单张 H20): 相比全注意力,GLA 方案的潜帧吞吐从 0.309 提升到 1.148 帧/秒。相比 VTA,它提速约 32%,FID 仅变差 2.3%。
如图所示数据流水线:

三类物理 AI 应用
| 应用 | 世界模型的角色 | 主要结果 | 解读 |
|---|---|---|---|
| 闭环评测 | 传感器仿真器 | 6 个策略版本的仿真排名与实车一致,r = −0.88 / −0.84 | 方向积极,但样本只有 6 个 |
| 闭环训练(驾驶) | PPO 后训练的环境 | 碰撞率 0.4%(基线 1.2%),成功率 96.3%,TTC 0.74 s | 效果最明显,但测试也在自家仿真器内 |
| WAM 规划(驾驶) | 特征骨干 | NAVSIM PDMS 95.3,Trainval 设置下第一 | 不接世界模型的 Base 已是 94.9 |
| WAM 操作(机器人) | 视频分支骨干 | LIBERO Plus 平均成功率 75.0%,5 个方法中第 2 | 未用具身预训练;第一名 GAM 为 85.5% |
| 动作条件生成(机器人) | 生成器 | TriWorldBench 64.79,6 个方法中第 4 | 只有轨迹精度(47.25)第一 |
如图所示基于因果推理世界模型模拟器的闭环训练策略架构:

如图所示世界动作模型:

需要打折看的地方

- "因果"主要指自回归结构。 公式 (1) 是按时间展开的条件分解,并不是结构因果模型。因果事件只有落石和追尾两个定性案例(图 7),没有反事实指标。
- 因果数据占比很小。 仿真引擎、视频生成和公开媒体数据合计约 7.8 万条,只占 1260 万片段的 0.6% 左右。论文没有披露采样权重,后训练阶段也不再使用这些数据(表 2)。其中 2.9 万条来自其他视频扩散模型,虽经人工审核,仍可能继承这些模型的物理错误。
- 闭环训练的"后果"可能不是世界模型算出来的。 自车运动来自 LQR 和二自由度运动学模型,碰撞和奖励由几何关系计算。从描述看,世界模型主要负责按布局渲染画面。论文也没有说明他车是否响应自车,而这决定了策略学到的交互是否可信。
- 闭环训练的提升无法完全归因于世界模型。
- 训练和测试用同一种仿真器,只是场景不同,没有实车结果,存在过拟合仿真器的风险。
- 论文没有和"日志回放 + RL"或 3DGS 仿真做对照。
- 按 1000 个场景估算,碰撞是 4 起对 12 起。我粗算的双侧 p 约为 0.08(假设两组独立),论文未报告置信区间。
5. "与实车一致"的统计力度不足。
-
- n = 6 时,我用 Fisher 变换粗估的 95% 区间下限,分别约为 0.24 和 0.09(按相关强度计)。
- 论文说排名一致,但报告的是负的 Pearson 相关,且没有解释符号的含义。
- 论文由此得出"高度可复现",但这组相关性反映的是有效性,不是复现性。
6. WAM 的榜首主要来自 Base。 世界模型只带来 +0.4 的 PDMS,其中 TTC 还从 97.0 降到 96.6,NC 不变。规划推理的延迟也没有报告,车端能否部署无从判断。
7. 两个 WAM 都没有用到"向前推演"。 机器人 WAM 用的是中期训练权重,推理时只做一次前向,动作 token 只关注首帧。驾驶 WAM 也是取潜变量特征。所以这部分验证的是表征迁移,不是因果预测。
8. "实时"没有被直接证明。 单卡 1.148 潜帧/秒,假设 VAE 时间下采样为 4 倍,约合 4.6 fps,低于训练数据的 16 Hz,而且这只算 DiT 部分。8 卡并行才可能达到实时,但论文没有给出多卡吞吐,这也意味着每个仿真实例的算力成本不低。
9. 高分模型和实时模型不是同一个。 生成质量评测(PAI-Bench、相机控制)用的是中期训练模型,闭环应用用的是蒸馏后模型。深度和分割结果则来自面向感知的预训练。
10. 部分指标并不领先。
-
- 机器人榜总分 77.1 仅比第二名高 0.1,美学分在对比方法中最低。
- nuScenes 上只有单视角长视频的 FVD 第一(125.74 对 126.86),6 视角短视频的 FVD(171.73)明显差于 MagicDrive-V2(94.84)。
- 相机控制生成得分最高(86.35 / 70.08),但 LIBERO 相机偏移场景的成功率只有 39.6%,生成能力没有转化为操作鲁棒性。
11. 论文细节疑点。
-
- 后训练精调学习率写作 2×10⁻²,而预训练是 1×10⁻⁴,疑似笔误。
- 第 10 页和第 12 页对奇偶层分工的描述相反,可能只是索引约定不同。
- 表 3 中全注意力没有 FID,所以"VTA 不明显损失质量"这一说法缺少直接对照。
- 表 9 只展示排名前二的子指标(共 19 项),表 12 的 GAM 没有引用来源。
意义与后续关注点
这篇论文的价值在于打通了一条工程链路:真实数据 → 3D 重建 → 生成式仿真 → 策略评测和训练 → 与实车对照。对车企来说,闭环评测和闭环训练最接近实际落地,机器人方向目前主要是仿真榜单结果,论文没有报告真机实验。
是否真正领先,重点看其四件事:
- 更大样本的仿真与实车相关性。
- 闭环后训练策略的实车结果。
- 他车响应式交互的建模方式。
- 权重和代码是否开放:论文正文没有相关声明。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)