机器人学习中的世界模型：一份全景式技术综述

本文是对论文 《World Model for Robot Learning: A Comprehensive Survey》（arXiv:2605.00080v1, 2026.04）的中文深度解读。
作者团队：Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, Oier Mees, Marc Pollefeys, Zhuang Liu, Jiajun Wu, Pieter Abbeel, Jitendra Malik, Yilun Du, Jianfei Yang 等。
机构：南洋理工、UC Berkeley、Stanford、东京大学、Oxford、Microsoft、ETH Zurich、Princeton、Harvard。
项目主页：https://ntumars.github.io/wm-robot-survey/ ｜ GitHub：https://github.com/NTUMARS/Awesome-World-Model-for-Robotics-Policy

---

写在前面

近两年，Vision-Language-Action（VLA）策略成了具身智能的中心范式——把感知、语言理解、控制统一进一个端到端模型。但纯反应式 VLA 在长时序推理、误差累积、物理鲁棒性上仍有明显短板。越来越多的研究者意识到：问题的根源不只是"动作预测能力不足"，更是缺少一个显式的预测结构去预判"世界将如何在机器人行为下演化"。这正是"世界模型（World Model）"复兴的契机。

但"世界模型"这个词在文献里被用得过于宽泛——潜动力学模型、未来状态预测器、视频预测器、甚至大策略内部的隐式预测结构，都被叫做世界模型。这篇来自 NTU/MARS 联合多个顶级机构的综述，做了一件非常关键的事：以机器人学习为中心，给出一个清晰、可操作的世界模型定义与分类法，并把架构范式、功能角色、应用域三條线系统梳理清楚。

本文是对该综述的完整中文技术博客解读，按原论文 8 个章节顺序展开，嵌入论文原图讲解，并标注相关经典论文链接与核心创新点。

---

目录

1. 核心定位与全文结构
2. 背景：世界模型、视频生成与 VLA 的关系
3. 世界模型作为策略：六大架构范式
4. 世界模型作为仿真器：RL 后训练与决策时评估
5. 机器人视频世界模型：四阶段能力进阶
6. 更宽广的具身域：导航与自动驾驶
7. 基准、数据集与代表性结果
8. 六大开放挑战与未来方向

---

1. 核心定位与全文结构

1.1 这篇综述在讲什么

一句话定位：以机器人学习为中心视角，系统梳理"世界模型"如何作为预测性结构嵌入机器人策略学习、规划、仿真、评估与数据生成，并澄清世界模型与 VLA、视频生成、仿真器的概念边界。

它不是一篇纯讲视频生成的综述，而是**策略中心（policy-centric）**的综述：世界模型的价值，最终要落到"能否让机器人的动作决策更知情、更物理可靠"上。

1.2 一个 actionable world model 的三大核心能力

• Foresight（前瞻）：执行前预判未来状态/动作后果。
• Imagination-driven planning（想象驱动规划）：用想象 rollout 比较并选择候选行为。
• Data amplification（数据放大）：合成额外示教/交互轨迹改善学习。

这三项对操作、导航、驾驶等需要推理接触、动力学、物理规律的任务尤为关键——而这些是语言中心预训练无法捕获的。

1.3 全文结构（图1）

图1：第3节从架构视角看世界模型如何与策略耦合；第4节从应用视角看世界模型作为仿真器；第5节按世界建模能力组织机器人视频世界模型。

章节	主题	组织视角
1–2	引言与背景	问题动机、概念厘清
3	World Model for Policy	架构视角：预测生成与动作生产如何交互
4	World Model as Simulator	应用视角：学习型仿真器（RL + 评估）
5	World Model for Robotic Video Generation	能力视角：想象→可控→结构→基础模型
6	Other Applications	导航 + 自动驾驶
7	Benchmarks, Datasets, Results	基准/数据集/结果
8	Challenges and Future Directions	开放挑战与未来方向

1.4 两条演进主线（图2）

图2：上支策略侧从解耦的视频生成+IDM 走向单骨干、MoE/MoT、统一VLA、潜世界建模；下支仿真器侧从 rollout 验证走向策略 RL、后训练、协同优化。

• 策略侧：UniPi → VidMan/VPP → UVA/UWA/VideoVLA → CosmosPolicy/DreamZero/Fast-WAM。趋势：从"先预测再行动"解耦管线，走向预测与动作生成更紧的整合。
• 仿真器侧：IRASim/World-Env → World-in-World/WorldEval → DreamPlan/WMPO/RISE → World-VLA-Loop/VLAW/WoVR。趋势：从 rollout 验证/排序，走向作为学习型环境支撑 RL 后训练，甚至与世界模型协同进化。

这些趋势应理解为"主导方向"而非严格顺序替代。

---

2. 背景：世界模型、视频生成与 VLA 的关系

2.1 世界模型的机器人中心定义

世界模型 = 对"智能体-环境动力学"的预测模型，最标准形式是状态转移：

$$p(x_{t+1:t+H}\mid x_t,a_{t:t+H-1},l)$$

关键点：

• 动作广义化：低层电机命令 a（怎么动）+ 高层语言指令 l（要实现什么未来）都算动作。
• 判据功能性：不是"能否生成合理未来"，而是"预测的未来是否对下游具身决策可操作（actionable）"。
• 最重要子类：动作条件世界模型——视觉合理但动作不一致的未来对闭环决策价值有限。

2.2 视频生成模型

$$p(v_{t+1:t+H}\mid o_t,a_{t:t+H-1},l)$$

在视觉观测空间实例化的世界模型。因视觉是具身智能体最常见的状态形式，本综述以视频世界模型为主。但需强调：像素级预测不一定是最优控制抽象，只是当前文献主流。大规模视频生成骨干（如 CogVideoX, Yang et al., 2024, https://arxiv.org/abs/2408.06072）使这类建模在机器人中日益可行。

2.3 VLA 策略的两条技术路线

• 离散动作 token 化：RT-2、OpenVLA、FAST（Pertsch et al., 2025, https://arxiv.org/abs/2501.09747，用 DCT 频域压缩动作 chunk）。
• 连续动作生成：π0/π0.5（Black et al., 2024, https://arxiv.org/abs/2410.24164，flow-matching 动作头）。π0.5 强调"从经验中学习"的开放世界泛化。

2.4 概率统一视角（理解第3章的关键）

策略、被动世界模型、可控世界模型、逆动力学模型，本质是同一预测-控制联合分布 $p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,l)$ 的不同边缘/条件：

模型	表达式
策略模型	$p(a\mid o,l)$（对未来观测边缘化）
被动世界模型	$p(o\mid o,l)$（对动作边缘化）
可控世界模型	$p(o\mid o,a)$（以动作为条件）
逆动力学模型	$p(a\mid o_{t:t+k})$（从状态转移恢复动作）

核心洞察：这解释了世界模型与策略为何能自然耦合——策略可把世界模型生成的未来当作中间隐变量，逆动力学解码器再从预测未来恢复可执行动作。这正是后续六大架构范式的数学根基。

---

3. 世界模型作为策略：六大架构范式

图3：(a) IDM-style 解耦管线；(b) Single-backbone 共享骨干；© MoT-style 专家交互。

本节按"预测生成与动作生产如何交互"组织六大范式。核心对比见 Table 1。

3.1 IDM-style（解耦：先预测再行动）

先用世界模型预测未来观测（或潜表示），再用独立逆动力学策略从当前观测+预测未来推断动作。

• UniPi（Du et al., 2023, https://arxiv.org/abs/2302.00196）：开创性工作，把策略学习重新框定为"文本引导视频生成 + 逆动力学"。
• VidMan（Wen et al., 2024, https://arxiv.org/abs/2410.15271）、Vidar（Feng et al., 2025）：引入 masked 逆动力学。
• Gen2Act（Bharadhwaj et al., 2025, https://arxiv.org/abs/2410.21183）：以生成的人类视频作为执行条件。
• VPP（Hu et al., 2025, https://arxiv.org/abs/2412.14803）、Video2Act：把视频世界模型当作紧凑预测表征源。
• MimicVideo（Pai et al., 2025）：用部分去噪潜视觉计划替代显式视频预测。
• TC-IDM、LVP：把生成未来翻译为执行导向中间体。
• Say-Dream-ACT（Gu et al., 2026, https://arxiv.org/abs/2602.10717）：生成视频计划作 in-context 视觉引导。

结构化几何中间体（互补方向）：AVDC（密集对应）、VidBot（3D 手轨迹）、Object-centric 3D Motion Field、NovaFlow（3D 物体 flow）——把视频提取为 3D 运动结构作为更动作相关的先验。

范式特征：架构解耦、模块化、可复用视频先验、可解释未来预测；但受生成未来保真度与可控性限制，视觉合理但动作不一致时累积误差。

3.2 Single-backbone（单骨干统一策略）

用单一生成骨干联合建模未来视觉演化与未来动作。动机：预训练视频骨干为时序预测优化，可能编码运动连续性、时序因果、近似物理动力学的先验。

• UVA（Li et al., 2025c, https://arxiv.org/abs/2503.00200）：联合视频-动作潜空间，推理时可绕过显式视频生成。
• UWA（Zhu et al., 2025a, https://arxiv.org/abs/2504.02792）：把耦合推进一步进入扩散过程，模态特定 timestep。
• VideoVLA（Shen et al., 2025）：把 Video Diffusion Transformer 扩展为 Video-Action Diffusion Transformer。
• VideoPolicy（Liang et al., 2025a, https://arxiv.org/abs/2508.00795）：视频生成为主策略基底。
• Cosmos Policy（Kim et al., 2026, https://arxiv.org/abs/2601.16163）：动作/状态/价值作为扩散序列中的"帧"，一骨干多模式。
• DreamZero（Ye et al., 2026b, https://arxiv.org/abs/2602.15922）：闭环 chunk-wise 联合去噪限制误差累积。
• UD-VLA、GigaWorld-Policy（Ye et al., 2026a, https://arxiv.org/abs/2603.17240）：因果设计使视觉分支推理时可选。

关键差异不在是否在线渲染完整未来，而在控制时视觉分支保留多少。

3.3 MoE/MoT（专家世界模型骨干）

保留显式专门化：为视频预测、动作生成维护独立专家流，通过共享注意力、交叉注意力或交错自回归序列交互。假设：全参数共享不总最优，因视频预测与动作生成有不同时序频率、表征尺度、优化需求。

• GE-Act（Liao et al., 2026）：并行 flow-matching 动作通路 + 深度交叉注意力。
• Motus（Bi et al., 2025, https://arxiv.org/abs/2512.13030）：直接表述为 MoT，理解/视频/动作三专家。
• LingBot-VA（Li et al., 2026b, https://arxiv.org/abs/2601.21998）：视频与动作 token 交错进共享自回归序列。
• BagelVLA（Hu et al., 2026, https://arxiv.org/abs/2602.09849）：长时序操作，Residual Flow Guidance 单步去噪。
• DiT4DiT（Ma et al., 2026, https://arxiv.org/abs/2603.10448）：视频分支中间去噪特征引导动作预测。
• Fast-WAM（Yuan et al., 2026, https://arxiv.org/abs/2603.16666）：混合点，结论是主要收益来自训练时视频协同而非推理时显式想象。
• LDA-1B（Lyu et al., 2026, https://arxiv.org/abs/2602.12215）：视觉预测移入 DINO 潜空间。
• FRAPPE（Zhao et al., 2026, https://arxiv.org/abs/2602.17259）：多并行专家流 + 潜空间对齐。

3.4 Unified VLA（统一 Vision-Language-Action 模型）

不总采用显式视频世界模型，但在同一多模态策略骨干内学习未来导向预测结构。

图4：(a) 统一 VLA；(b) VLA 的潜空间世界建模。

• 显式未来状态预测：GR-1（Wu et al., 2024, https://arxiv.org/abs/2312.06731）、UP-VLA、WorldVLA（Cen et al., 2025, https://arxiv.org/abs/2506.19850）。
• 隐式/潜未来建模：DreamVLA、UniVLA（Wang et al., 2025, https://arxiv.org/abs/2505.06111）、CoWVLA。
• 多专家/多系统统一：F1（Lv et al., 2025, https://arxiv.org/abs/2509.06951）、InternVLA-A1（Cai et al., 2026, https://arxiv.org/abs/2601.02456）、HALO、TriVLA。

3.5 Latent-space World Modeling（潜空间世界建模）

把未来预测完全内化到表征空间，不依赖显式图像/视频生成。与 JEPA 家族（Assran et al., 2023, https://arxiv.org/abs/2301.08243; V-JEPA 2, 2025, https://arxiv.org/abs/2506.09985）概念相关。

• FLARE（Zheng et al., 2025, https://arxiv.org/abs/2412.15329）：Future Latent Representation Alignment。
• VLA-JEPA（Sun et al., 2026, https://arxiv.org/abs/2602.10098）：leakage-free 状态预测。
• JEPA-VLA（Miao et al., 2026, https://arxiv.org/abs/2602.11832）：把 V-JEPA 2 预测嵌入适配为 VLA 骨干。
• WoG（Su et al., 2026, https://arxiv.org/abs/2602.22010）：世界建模移入动作生成的条件空间。
• DIAL（Chen et al., 2026c, https://arxiv.org/abs/2603.29844）：潜视觉前瞻作为结构化瓶颈。

符号/规划器面向世界模型（互补）：VisualPredicator/ExoPredicator（Liang et al.）学习神经符号谓词抽象世界模型——有用世界模型不必依赖预测像素，也可捕获抽象逻辑/对象关系/因果规律。

3.6 范式关系总览

六大范式回答同一问题，给出从松到紧的不同答案：

解耦(IDM) → 共享骨干 → MoE/MoT → 统一VLA → 潜空间内化 → 符号抽象
   松 ←────────────────────────────────────────────→ 紧

这些并非严格替代，而是设计空间不同区域；哪种最有效仍是开放经验问题。

---

4. 世界模型作为仿真器：RL 后训练与决策时评估

图5：(a) RL 场景下世界模型作为学习型仿真器；(b) 验证场景下世界模型对候选动作打分。

世界模型除作为策略组件外，还可直接作为交互式仿真器替代环境本身。这一方向对视觉运动策略尤其有吸引力：物理机器人 RL 慢/贵/难复位/不安全，纯模仿学习受示教质量限制难从失败学习。

4.1 用于强化学习（学习型仿真器）

在学习型仿真器内优化策略：$({\hat{o}}_{t+1},{\hat{r}}_t,{\hat{d}}_t)\sim p_{\varphi }(\cdot \mid o_{\le t},a_{\le t},l)$，策略从想象 rollout 改进，实践中常用 GRPO 风格目标。

第一层：学习型仿真器用于 RL

• UniSim（Yang et al., 2024a, https://arxiv.org/abs/2310.06680）、World-Env（Xiao et al., 2025, https://arxiv.org/abs/2509.24948）、VLA-RFT（Li et al., 2025b, https://arxiv.org/abs/2510.00406，可验证奖励 + 想象 rollout）、DiWA（Chandra et al., 2025, https://arxiv.org/abs/2410.17105，冻结世界模型支持离线适配）、World4RL（Jiang et al., 2025d, https://arxiv.org/abs/2509.19080）。

第二层：与现代 VLA 架构兼容

• World-Gymnast（Quevedo et al., 2025, https://arxiv.org/abs/2506.00613）、PlayWorld（Yin et al., 2026, https://arxiv.org/abs/2603.09030）、RehearseVLA、WMPO（Zhu et al., 2026, https://arxiv.org/abs/2501.12500，像素空间想象 + on-policy GRPO）、ProphRL（FA-GRPO + FlowScale）、RISE（Yang et al., 2026b, https://arxiv.org/abs/2602.11075，组合动力学 + 进度价值）、GigaBrain-0.5M*。

第二层关键：策略-世界模型协同进化——承认学习型仿真器本身不完美，必须与策略一起改进：

• World-VLA-Loop（Liu et al., 2026b, https://arxiv.org/abs/2602.06508）：联合预测未来观测与奖励，用策略失败 rollout 精修仿真器。
• VLAW（Guo et al., 2026a, https://arxiv.org/abs/2602.12063）：迭代 repair-and-improve，真实数据精修仿真器、合成数据改进 VLA。
• WoVR（Jiang et al., 2026, https://arxiv.org/abs/2602.13977）：可控动作条件视频建模 + Keyframe-Initialized Rollouts + 显式协同进化。

4.2 用于评估（决策时验证器）

世界模型在执行前评估候选行为——估计哪个候选动作序列/策略/checkpoint 最可能在真实世界成功。

(1) 基于 rollout 的候选评估：GPC（Qi et al., 2026, https://arxiv.org/abs/2601.13704，部署时 look-ahead 排序精修）、IRASim（Zhu et al., 2025b, https://arxiv.org/abs/2407.09404）、World-in-World（Zhang et al., 2025a, https://arxiv.org/abs/2510.18135，闭环规划修订）、DreamPlan（Jia et al., 2026a, https://arxiv.org/abs/2603.16860，偏好对训练信号）。

(2) 作为策略评估器：Evaluating Gemini Robotics Policies in a Veo World Simulator（Team et al., 2025a, https://arxiv.org/abs/2512.10675）、WorldEval（Li et al., 2025e, https://arxiv.org/abs/2505.19017）、WorldArena（Shang et al., 2026, https://arxiv.org/abs/2602.08971）。

(3) 带显式反馈头：World-Env（奖励+终止预测）、VLA-RFT（可验证奖励）、World-VLA-Loop（联合观测+奖励）、RISE（进度价值模型）。

潜空间相邻方向：V-JEPA 2/2.1、LeWorldModel（Maes et al., 2026, https://arxiv.org/abs/2603.19312）——嵌入空间预测规划与合理性检查。

核心论点：评估器只有在其想象未来保留候选动作因果后果时才有用。WoVR 警示：幻觉与长时序误差不仅降低视觉质量，还可能直接腐蚀评估信号本身。世界模型作为仿真器的价值，不在"生成合理未来"，而在"生成控制一致、足够可信以支持决策的未来"。

---

5. 机器人视频世界模型：四阶段能力进阶

图6：5.1 核心对象；5.2 想象引擎；5.3 动作条件因果对齐；5.4 结构先验物理一致；5.5 基础世界模型。

机器人视频生成 ≠ 通用视频合成：需动作一致、物理合理、对决策可操作。本综述把任务/语言条件视为高层动作，按四阶段能力进阶组织。

5.1 想象驱动监督（Imagination-Driven）

视频生成作为想象引擎，扩充监督/规划信号。

• Dreamitate（Liang et al., 2024, https://arxiv.org/abs/2405.01057）：视频扩散微调 + 合成执行作视觉计划。
• RoboDreamer（Zhou et al., 2024, https://arxiv.org/abs/2404.12617）：组合式世界建模，指令分解为可复用 primitive。
• ManipDreamer（Li et al., 2025f, https://arxiv.org/abs/2504.16464）：动作树 + 深度/语义引导。
• DreMa（Barcellona et al., 2025, https://arxiv.org/abs/2410.15791）：Gaussian Splatting + 物理仿真器做数字孪生。
• PhysWorld（Mao et al., 2025, https://arxiv.org/abs/2505.01749）：从生成视频重建物理世界模型 + object-centric 残差 RL。
• DreamGen（Jang et al., 2025a）：把强视频生成器适配到目标本体，合成神经轨迹恢复可执行动作。

5.2 动作可控（Action-Controllable）

重心从想象监督转向显式可控性——生成的未来是否以足够精度跟随命令动作序列。

• IRASim（Zhu et al., 2025b, https://arxiv.org/abs/2407.09404）：trajectory-to-video + 帧级动作条件。
• RoboEnvision（Yang et al., 2025）：长时序多任务语义/时序一致。
• RoboMaster（Fu et al., 2026）：协同轨迹控制，多阶段 + 机械臂-物体耦合运动。
• Ctrl-World（Guo et al., 2026b, https://arxiv.org/abs/2510.10125）：策略在环 rollout，联合多视角 + 帧级动作 + 记忆长时序。
• EnerVerse-AC（Jiang et al., 2025c, https://arxiv.org/abs/2505.09723）：动作条件多视角生成器，数据引擎 + 评估器。
• Interactive World Simulator（Wang et al., 2026c, https://arxiv.org/abs/2603.08546）：高频长时序稳定策略条件交互。
• EVA（Wang et al., 2026b, https://arxiv.org/abs/2603.17808）：逆动力学奖励对齐视频世界模型到可执行动作。

决定性概念转变：保真度不仅以 realism 衡量，还以动作忠实、可控交互、对闭环决策有用衡量。

5.3 结构感知（Structure-Aware）

引入 mask、几何、视角、恒等线索保持接触关系与场景结构。

• Mask2IV（Li et al., 2025a, https://arxiv.org/abs/2510.03135）：两阶段，先预测交互轨迹再条件生成视频。
• TesserAct（Zhen et al., 2025, https://arxiv.org/abs/2504.20995）：RGB+深度+法向的 4D 具身世界模型。
• RoboVIP（Wang et al., 2026a, https://arxiv.org/abs/2601.05241）：视觉恒定提示引导多视角视频扩散作数据增强。

与符号/结构化世界建模的联系：另一族把世界抽象为谓词/关系/affordance/因果过程并预测转移用于规划——共享原则：更丰富结构先验使生成未来更可控、更一致、更有用。

5.4 基础视频世界模型（Foundation Video WM）

把机器人视频世界模型重新诠释为：通过适配大规模视频骨干构建的通用交互式预测器。

• Vid2World（Huang et al., 2026）：把预训练视频扩散模型转化为交互式世界模型。
• Genie Envisioner（Liao et al., 2026）：统一世界基础平台。
• DreamDojo（Gao et al., 2026a, https://arxiv.org/abs/2602.06949）：大规模人类 egocentric 视频预训练 + 连续潜动作桥接人机。
• WoW（Chi et al., 2025c, https://arxiv.org/abs/2509.22642）：核心论点——物理直觉不能仅从被动视频获得，要在大量机器人交互轨迹上训练，闭合想象-到-动作环路。
• UnifoLM-WMA-0、Cosmos Predict 2.5（Ali et al., 2025, https://arxiv.org/abs/2511.00062）：平台级可复用世界骨干。
• GigaWorld-0（Team et al., 2025b, https://arxiv.org/abs/2511.19861）：可控视频分支 + 物理接地 3D 分支做大规模数据合成。
• ABot-PhysWorld（Chen et al., 2026d, https://arxiv.org/abs/2603.23376）：物理对齐、动作可控的操作视频生成。

5.5 技术进阶与中心瓶颈

四阶段进阶：想象监督 → 动作可控 → 结构感知 → 基础世界模型。

中心瓶颈：关键挑战不再是单纯生成逼真未来，而是生成与机器人动作因果对齐、长时序物理/运动学自洽、跨视角跨本体连贯、交互下稳定、足够可执行以支持真实策略改进的未来。视频生成的真正价值在于把未来预测转化为感知与决策间可控、交互、可操作的接口。

---

6. 更宽广的具身域：导航与自动驾驶

6.1 导航

导航智能体在严重部分可观测下行动。世界模型把不可见空间转化为预测性规划基底，用于推理未来可见性、可通行性、目标进展。

• Pathdreamer（Koh et al., 2021, https://arxiv.org/abs/2105.08761）：为未访视点生成未来 360° RGB/深度/语义观测，想象观测规划缩小与真实未来规划的差距。
• VISTA / VISTAv2（Huang et al., 2025c/b）：imagine-and-align，rollout egocentric 未来投影到在线价值地图。
• NWM（Bar et al., 2025, https://arxiv.org/abs/2412.03600）：可控视频生成显式表述为导航世界模型。
• SparseVideoNav（Zhang et al., 2026, https://arxiv.org/abs/2602.05827）：稀疏未来生成加速部署。
• EgoWM（Bagchi et al., 2026, https://arxiv.org/abs/2601.15284）：互联网级视频扩散模型适配为动作条件 egocentric 世界模型。

价值不在于视觉 realism，而在于以可用于规划的形式暴露隐藏的未来结构。

6.2 自动驾驶

驾驶对长时序预测、多智能体交互、结构化几何、安全关键规划要求更强。世界模型日益统一感知、预测、规划、仿真。

两条互补路线：

• 紧凑/结构化预测状态：MILE（Hu et al., 2022, https://arxiv.org/abs/2210.07487，潜动力学 + 几何归纳偏置）、OccWorld（Zheng et al., 2024, https://arxiv.org/abs/2401.09543，3D 占据空间）。
• 生成式世界模型：GAIA-1（Hu et al., 2023, https://arxiv.org/abs/2309.17080，视频/文本/动作多模态序列建模）、DriveDreamer（Wang et al., 2024a, https://arxiv.org/abs/2309.09777，扩散 + 结构约束）。

规划导向与统一驾驶智能：Drive-WM（Wang et al., 2024b, https://arxiv.org/abs/2310.16020，可控多视角未来 + 想象多未来 rollout 选安全轨迹）、UniDWM（Xiong et al., 2026, https://arxiv.org/abs/2601.04453）、DriveWorld-VLA（Liu et al., 2026a, https://arxiv.org/abs/2602.06521，潜世界状态作规划决策状态）、DriveVLA-W0（未来图像预测密集自监督）、SteerVLA（Gao et al., 2026b, https://arxiv.org/abs/2602.08440，高层 VLM 作语义世界模型引导低层 VLA）。

跨域共性：导航中是"不可见空间"，驾驶中是"场景未来演化"——世界模型都以可用于规划/决策的形式暴露隐藏或未来的结构。

---

7. 基准、数据集与代表性结果

7.1 三层评测框架

视觉逼真度既非必要也非充分——rollout 可能看着合理却违反动力学从而破坏闭环控制。

1. 开环动作条件生成质量：RBench（结构一致/物理合理/动作完整）、EWMBench（场景/运动/语义分解）、DreamGen Bench（指令跟随/物理对齐）、EVA-Bench（长时序预判/OOD 鲁棒）。
2. 闭环任务效用与策略评估：WorldArena（功能角色评测）、WorldEval（比较策略评估，rank 一致性）、WorldGym（Monte Carlo 评估，价值保真）、World-in-World（闭环规划任务成功）。
3. 物理一致性/可控性/可执行性诊断：WorldSimBench（Qin et al., 2025, https://arxiv.org/abs/2410.18072，感知+操控评估）、WoW-World-Eval（物理律 + IDM 图灵测试）、DrivingGen（轨迹合理性/可控性）、WM-ABench（原子能力分解）。

核心教训：没有单一指标足够。强模型不仅需预测合理未来，还需保留可靠控制所需的动作相关结构。

7.2 数据集多轴视角

• 大规模机器人轨迹：OXE、DROID、BridgeData V2、AgiBot World——动作条件预测基本转移覆盖。
• 跨本体：OXE、RoboMIND 2.0、MV-UMI——可迁移动力学先验。
• 人类视频/人类-到-机器人：UMI 系列、DexWild、EgoMimic、Being-H0——交互规律额外路线。
• 触觉/力/接触富：Hoi!、FreeTacMan、RH20T、Humanoid Visual-Tactile-Action——落地可执行性与物理一致性关键。
• 合成/配方：RoboTwin 2.0、Action100M——可控变异。

核心缺口：失败恢复、决策敏感变异、密集物理接地监督仍比大规模成功示教稀缺。

7.3 代表性结果（LIBERO）

方法	范式	Spatial	Object	Goal	Long	Avg
MimicVideo	Decoupled	94.2	96.8	90.6	94.0	93.9
Say-Dream-ACT	Decoupled	99.4	99.2	98.6	95.4	98.1
Cosmos Policy	Single-backbone	98.1	100.0	98.2	97.6	98.5
Motus	MoE/MoT	96.8	99.8	96.6	97.6	97.7
LingBot-VA	MoE/MoT	98.5	99.6	97.2	98.5	98.5
CoWVLA	Unified VLA	97.2	97.8	94.6	92.8	95.6
F1	Unified VLA	98.2	97.8	95.4	91.3	95.7
VLA-JEPA	Latent-space WM	96.2	99.6	97.2	95.8	97.2

三个关键结论：

1. 强表现不限于单一架构范式——光真实视频生成并非有效具身控制的必要条件。
2. 长时序操作仍是关键分水岭——Goal/Long 套件下降更常见。
3. 跨基准泛化弱、报告标准化不足——RoboTwin/CALVIN/SIMPLER 上一个基准的强表现未必迁移。

---

8. 六大开放挑战与未来方向

8.1 因果条件缺口

预测未来过度依赖历史/意图而非待执行动作 → 需动作对齐的预测动力学。WorldVLA 的隐式统一训练是缓解方向。与第4章呼应：因果缺口同时破坏 RL 训练信号与评估信号。

8.2 效率瓶颈

训练+推理开销大（联合预测、扩散去噪）。缓解：适配器、部分去噪（MimicVideo/LingBot-VA）、潜空间模型（LeWorldModel）、训练时启用推理时跳过（Fast-WAM）。

8.3 多模态感知瓶颈

仅视觉+本体感觉无法捕获摩擦/刚度/接触稳定性。需集成触觉/力反馈（Tactile-VLA, https://arxiv.org/abs/2505.02446）；视觉-触觉模型（Higuera et al., 2026; OmniVTA）学习联合潜表征。挑战：对齐异步频率/维度，防视觉主导稀释触觉信号。

8.4 经典控制集成

MPC 迭代 rollout 开销大限制实时部署。前沿：把神经表达力与 Lyapunov 稳定性/鲁棒控制等形式化保证协调。与 RL 协同进化互补：MPC 是"用世界模型做规划"，RL 协同进化是"用世界模型做训练"。

8.5 符号结构集成

像素 rollout 长时序误差累积。符号表示（谓词/关系/占据图）通过抽象离散/规则转移缓解。方向：混合世界模型——学习感知表征 + 符号结构（VisualPredicator/ExoPredicator）。真实世界本质结构化，object-centric/关系抽象 + 符号约束是有原则的路径。

8.6 评测指标的开放挑战

缺乏公认功能感知指标。需联合评估预测 realism、动作敏感性、长时序一致性、控制效用。目标：建立任务成功 + 策略排序保真 + 可执行性诊断的紧凑标准化集，区分视觉合理模型与真正可操作模型。

六大挑战关系

因果条件缺口(8.1) ──┬── 破坏 RL 训练信号(§4.1)
                    └── 破坏评估信号(§4.2)
效率瓶颈(8.2) ── 训练+推理开销 ── 限制 MPC 实时性(8.4)
多模态感知瓶颈(8.3) ── 视觉主导/触觉稀释 ── 物理不可观测属性缺失
符号结构(8.5) ── 缓解像素长时序误差累积 ── 混合世界模型
评测指标(8.6) ── 功能感知标准化 ── 区分合理 vs 可操作

总论：六大挑战相互关联，可靠、高效、可操作的具身世界模型需要六条线协同推进，而非单纯 scaling。

---

结语

这篇综述最大的价值，不在于罗列了多少方法，而在于它把一个被用滥的术语重新赋予了清晰、可操作的机器人中心含义，并给出了一个能容纳从 UniPi 到 WoVR、从 Pathdreamer 到 SteerVLA、从 Diffusion Policy 到 V-JEPA 的统一分类法。

几个值得反复咀嚼的判断：

1. 世界模型 ≠ 视频生成。视频生成只是世界模型在视觉观测空间的实例化；判据是"对动作是否可操作"，不是"视觉是否逼真"。
2. 视觉逼真度既非必要也非充分。LIBERO 上多范式都强，长时序才是分水岭——这直接否定了"堆视频数据就能解决一切"的简单叙事。
3. 仿真器可靠性是新前线。从"在世界模型内做 RL"到"与世界模型协同进化做 RL"，可靠性、动作跟随精度、rollout 可靠性本身成为优化对象。
4. 物理直觉不能仅从被动视频获得（WoW）。这与"因果条件缺口"互为表里——纯观察式预训练无法建立"动作→后果"的因果链。
5. 评测必须功能感知。开环/闭环/诊断三层框架，是朝"区分合理与可操作"迈进的务实路径。

对研究者而言，无论你做策略架构、RL 仿真、视频生成、还是系统落地，这篇综述都提供了一张清晰的地图——以及地图上尚未被点亮的空白。