前言

2026年6月27日，当前时间节点，世界模型（即对环境在行动作用下演化过程的预测性表征）已成为机器人领域最领先的部分。其支持策略学习、规划、仿真、评估以及数据生成，并随着基础模型和大规模视频生成技术的兴起而迅猛发展。

本文对世界模型进行了全面的综述，涵盖世界模型如何与机器人策略相耦合，如何作为学习型仿真器服务于强化学习与评估，以及机器人视频世界模型如何从基于想象的生成方式，演进为可控的、结构化的以及基础模型规模的全新范式。

本系列文章主要参考南洋理工、加州伯克利、斯坦福等高校共同编写的World Model for Robot Learning: A Comprehensive Survey¹，希望能通过这篇文章的整体描述让大家对于机器人世界模型当前的格局有全面的了解。

https://github.com/NTUMARS/Awesome-World-Model-for-Robotics-Policy

https://ntumars.github.io/wm-robot-survey/

正文

3 世界模型用于策略

图2的上半部分将现有的策略耦合范式置于更广阔的时空背景中。该领域已逐步从解耦的先预测后行动流程，演进到更加统一且内化的预测控制形式。值得注意的是，这一演进过程并不意味着以视频预训练为基础的骨干网络在控制任务中天然优于视觉语言模型（VLM）、潜在变量、结构化或符号化等其他替代方案。究竟哪种预测基质最为有效，仍是一个有待实证解答的开放性问题；我们在此的重点在于梳理迅速发展的各类方法——这些方法将基于视觉或视频的世界模型先验与机器人策略相耦合，同时也在适当场合突出潜在变量和结构化变体的应用实例。

3.1 为什么世界模型有助于机器人策略学习

近期的机器人政策越来越多地引入了世界模型，这些模型通常以视频生成模型的形式实现。这是因为大规模视频预训练能够为时间动态和物理规律提供有益的先验知识。其优势不仅限于预测未来，还在于提供了结构化的预测表征，从而使得动作生成更加明确无歧义。通过基于预期结果而非仅依赖当前观测来制定策略，智能体能够获得更长远的预见能力，并为控制决策提供更具信息量的基础。
这一趋势可从概率论的角度加以解释。假设目标是建模未来观测与未来行动的联合条件分布。设o表示当前观测，a表示一项行动，l表示指令（例如语言指令或任务说明）。该分布可表示为：
$$p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,l)(4)$$
那么，几个看似不同的范式可以被视为同一潜在预测—控制模型的不同边际或条件：
$$\begin{array}{rlr}& \text{策略模型:}& p(a_{t+1:t+k}\mid o_t,l)=\int p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,l)d_o(5)\\ & \text{被动世界模型:}& p(o_{t+1:t+k}\mid o_t,l)=\int p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,l)d_a(6)\\ & \text{可控世界模型:}& p(o_{t+1:t+k}\mid o_t,a_{t+1:t+k})(7)\\ & \text{逆运动学模型:}& p(a_{t+1:t+k}\mid o_{t:t+k})(8)\end{array}$$
从这个意义上说，策略模型、被动世界模型（视频生成模型）、可控世界模型以及逆动力学模型并非完全独立的抽象概念；相反，它们对应于对同一理想化联合分布进行查询或因子分解的不同方式。这也解释了为什么世界模型与策略能够自然地耦合：策略可以将世界模型生成的未来观测作为中间隐变量加以利用，而基于逆动力学风格的解码器则能从这些预测的未来中恢复出可执行的动作。

因此，将世界模型融入策略学习，更一般地可视为在动作生成过程中引入预测性结构。与直接学习从当前观测到动作的单一映射不同，该模型将未来观测作为辅助预测变量进行推理，这些预测变量能够为动作选择提供信息或施加约束。在一些形式中，模型首先预测一个合理的未来，然后在该未来的条件下解码动作。 在另一些形式中，模型会先生成候选动作，然后通过预测出的未来结果来评估这些动作，或对这些动作进行正则化。 更加统一的方法则会在一个共享的生成过程中联合建模观测和动作。

实际上，引入这种预测性结构能够为控制任务提供有益的归纳偏置，尤其是在机器人动作数据有限且具备大规模预测性预训练的情况下（Jang等，2025b）。受这一视角的启发，我们从架构角度组织本节内容，根据预测生成与动作生成之间的交互方式，将基于世界模型的策略方法划分为不同类别，从解耦的流水线到紧密集成的端到端方案。表1从比较性的架构视角总结了这些范式，重点突出了它们的代表性方法、未来生成在推理阶段是否持续激活、所采用的基础骨干网络家族，以及世界建模与动作生成之间耦合的具体形式。这种架构演进也呼应了基础模型领域的更广泛趋势：设计空间已从模块化流水线扩展至包含共享骨干网络、专家耦合架构，以及潜伏式能力内化等新形态。

3.2 结合世界模型的逆动力学策略

一种代表性的工作思路是通过解耦设计，将世界模型融入机器人控制中。在这种设计中，未来预测与动作生成由两个独立的模块分别实现。其核心思想是：首先利用世界模型——通常是图像或视频生成模型——预测受任务条件约束的未来观测序列（或其潜在表示）；随后，训练一个独立的策略模块，根据当前观测以及预测的未来信息，推导出可执行的动作。与统一的端到端策略不同，后者在单一主干网络中同时建模感知、预测和控制，这种范式保持了明确的功能分离：世界模型提供关于“接下来应该发生什么”的结构化假设，而策略模块则将这些预期的未来转化为低级动作。如图3(a)所示，这一系列方法采用了一种解耦的先预测后行动的流程：首先，世界模型生成未来的观测或其预测表示；随后，一个独立的逆动力学风格策略模块将这些预期的未来映射为可执行的动作。
这一方法族首先构建一条预测的未来轨迹：
$${\hat{\mathbf{o}}}_{t+1:t+H}=\mathcal{W}(o_t,l)(9)$$
或者，更一般地说，一种未来的潜在表示：
$${\hat{\mathbf{z}}}_{t+1:t+H}=\mathcal{W}({\mathrm{E}}_{\text{img}}(o_t),{\mathrm{E}}_{\text{text}}(l))(10)$$
其中，W 表示世界模型，H 为预测时域。随后，策略同时基于当前观测和生成的未来信息进行条件化处理。
$$\pi (a_{t+1,t+H^{\prime }}\mid o_t,l)=P(a_t\mid {\mathrm{E}}_{\text{img}}(o_t),{\mathrm{E}}_{\text{text}}(l),\Phi ({\hat{\mathbf{o}}}_{t+1:t+H}))(11)$$
或以隐含形式等价地表示
$$\pi (a_{t+1:t+H^{\prime }}\mid o_t,l)=P(a_t\mid {\mathrm{E}}_{\text{img}}(o_t),{\mathrm{E}}_{\text{text}}(l),{\hat{\mathbf{z}}}_{t+1:t+H})(12)$$
其中，$\Phi (\cdot )$ 表示作用于预测未来观测的特征提取器，$H^{\prime }$ 表示动作块的大小。从控制角度来看，这种表述方式属于逆动力学风格：与仅根据当前状态推断动作不同，该策略利用了预期的状态转移或未来演化信号，从而降低了动作生成过程中的模糊性。

从历史上看，这一领域的早期研究确立了先预测、后行动的基本解耦范式。UniPi（Du等，2023）便是具有代表性的早期范例：它利用任务条件化的世界模型生成未来的视频轨迹，随后训练一个独立的逆动力学模型，通过对比相邻帧来推导出动作表征。此后涌现的各类方法主要沿着这一范式逐步推进，不断重新设计向策略暴露的未来表征形式。早期的视觉扩展，如VidMan（Wen等，2024）和Vidar（Feng等，2025），在保留经典的两阶段流程的同时，引入了掩码逆动力学机制，以突出与动作相关的区域。Gen2Act（Bharadhwaj等，2025）同样采用了类似的解耦设计，但其执行条件不再是基于机器人中心的未来展开，而是直接基于生成的人类视频。此外，诸如VPP（Hu等，2025）和Video2Act（Jia等，2025b）等研究则代表了一种密切相关的变体：它们不再显式地进行像素空间的未来展开，而是将视频世界模型视为紧凑预测表征的来源。这些方法并未从完全渲染的未来帧中解码动作，而是从预训练视频扩散模型的潜在空间中提取与控制相关的特征，并将其注入到单独的动作头中，从而实现预测与控制之间更紧凑、更稳定的交互界面。与此相关的一个方向由V2A（Luo和Du，2025）所探索：该方法进一步将生成的视频状态与动作紧密结合，通过目标条件化探索来强化这种联系——它并未直接学习从预测未来中解码逆动力学，而是将合成的视频状态视为视觉目标，并借助回溯式自我探索的方式，学习一种目标条件化的策略。

在迈向更紧凑的表示形式的过程中，MimicVideo（Pai 等，2025）用部分去噪的潜在视觉计划取代了显式的视频预测，从而实现了更加精简且与控制高度一致的界面。TC-IDM（Mi 等，2026）和LVP（Chen 等，2025a）则进一步推进了这一抽象层次，将生成的未来状态转化为面向执行的中间表示，例如以工具为中心的几何轨迹或可重定向的视觉计划。

3.3 基于单一世界模型骨干的统一策略

与上述解耦的逆动力学式流程不同，一种更为紧密耦合的研究路线采用单一生成式主干网络，以联合建模未来的视觉演变和未来动作。图3(b)以可视化方式概括了这一转变：不再将世界模型的预测传递给下游策略模块，而是让观测和动作标记在同一共享主干网络中进行处理，从而实现未来建模与动作生成在同一生成过程中紧密耦合。这一做法背后更根本的动机是设计不仅在于视频模型能够“想象”未来的观测结果，更在于经过预训练的视频生成骨干网络专门针对时间序列预测建模进行了优化。与许多视觉语言模型骨干网络（Kim等，2025；Black等，2024）不同——这些骨干网络主要通过图像-文本或视觉-语言对齐目标进行预训练，因而更侧重于语义对应——视频生成模型则被训练用于建模按时间顺序排列的观测数据，并可能编码有关运动连续性、时间因果关系以及近似物理动力学的有用先验信息。当动作生成被嵌入到同一去噪或生成过程中，以模拟未来世界演化时，策略便能从一个已偏向于跨时间传播约束的骨干网络中获益。然而，视频预训练骨干网络是否在机器人控制任务中始终优于规模相当的视觉语言模型骨干网络，目前仍是一个有待实证检验的开放问题。当前的研究结果应被视为一种颇具前景的归纳偏置的提示性证据，而非一项确定性的架构结论。

从高层次来看，这一家族用一种统一的多模态生成目标取代了“先预测、后行动”的两阶段分解方法。设$x=[z^v;z^a]$表示未来视觉与动作表征的拼接。一个共享的骨干网络$f_{\theta }$在受条件约束 $(o_t,l)$的损坏输入${\tilde{\mathbf{x}}}_{\tau }$进行训练
$$\hat{y}=f_{\theta }({\tilde{\mathbf{x}}}_{\tau },o_t,l,\tau ),\mathbf{x}=[z^v;z^a](13)$$
其中$\tau$表示去噪步骤，具有通用的统一目标
$${\mathcal{L}}_{\text{unified}}=\mathbb{E}[\ell (\hat{y},y)](14)$$
其中，具体目标取决于特定的实现方式：y 可能对应于连续去噪模型中的扩散噪声，对应于流匹配变体中的速度场，或对应于离散去噪公式中的掩码标记。

诸如UVA（Li等，2025c）、UWA（Zhu等，2025a）等早期统一设计，以及后来的VideoVLA（Shen等，2025），均已明确体现了这一视角。这些方法并未沿用模块化的“世界模型+策略头”分解方式，而是将控制直接视为与统一预测生成器的交互接口。其中，UVA学习了一个联合的视频-动作潜在空间，并对两种模态进行联合监督，同时通过轻量级的模态专用解码头保持高效的部署能力，使策略推理无需显式生成视频。UWA则进一步将这种耦合推向扩散过程本身：它在单一Transformer中整合了视频与动作的扩散过程，并采用模态专属的时间步长；通过时间步长控制，可对视觉未来进行边际化处理，从而将其作为策略进行查询。在此统一视图的基础上，VideoVLA将重点转向直接将预训练视频生成器转化为机器人控制模型：它将视频扩散Transformer扩展为视频-动作扩散Transformer，共同预测未来的视觉结果与动作序列，从而使预训练视频模型本身成为策略的核心骨干。与此思路密切相关的还有VideoPolicy（Liang等，2025a），该方法将视频生成视为主要的策略基础，并将动作预测简化为一种轻量级接口，叠加于生成的行为之上。

后续方法通过最小化视觉预测与控制之间的表征差距，进一步强化了这种耦合关系。Cosmos Policy（Kim等人，2026）便是这一思想的一种尤为直接的实现：它基本保持预训练视频扩散架构不变，并将机器人动作、未来状态及价值作为额外的潜在“帧”嵌入到原始扩散序列中。在推理阶段，这些输出并不需要全部对称地使用：在直接策略模式下，仅需使用动作输出即可执行；而在规划模式下，则可利用未来状态和价值预测来对候选轨迹进行排序。DreamZero（Ye等人，2026b）同样秉持端到端的理念，采用自回归流匹配视频-动作DiT模型，但其采取的是闭环分块联合去噪的方式，而非自由运行的长 horizon 滚动预测，从而在保持视频与动作紧密对齐的同时，有效限制了误差累积。UD-VLA（Chen等人，2026b）则将这一原则拓展到了离散多模态场景中：它在单一同步去噪轨迹内耦合未来图像标记与动作标记，并引入了专门针对测试阶段的高效技术。GigaWorld-Policy（Ye等人，2026a）提供了一种更明确以动作为中心的变体：它在一个共享的Transformer堆栈中联合优化未来动作预测与基于动作条件的未来视频生成，并采用因果设计，使得视觉分支在推理时可选。

归根结底，这些统一方法之间的关键差异并不在于它们是否都能在线生成完整的未来视频，而在于控制过程中视觉分支保持活跃的程度。有些方法会保留明确的未来预测，以确保一致性和规划性；而另一些方法则在保持联合训练优势的同时，将未来预测的影响降至最低。

为了提高效率，可对视觉分支进行截断或部分舍弃。在所有情况下，与上述解耦方法不同，世界模型并不被视作由下游策略单独调用的独立上游模块。相反，世界建模与策略学习被合并为一个单一的生成过程，这为将大规模视频预训练中提取的时空先验注入控制任务提供了一种可行途径。

3.4 具备专家世界模型主干的MoE/MoT策略

与上述单主干生成器相比，一种相关但架构迥异的研究方向通过保持独立的专家流来明确区分不同任务：分别为视频预测、动作生成，有时还包括语言或场景理解。这些方法并未将所有模态融合到单一共享的扩散主干中，而是采用了类似MoE/MoT（Liang等，2025b）或多分支的设计，其中针对不同模态的专家通过共享注意力机制、交叉注意力机制，或交错的自回归序列进行交互。如图3©所示，与单主干模型不同，这类方法保留了独立的视频专家和动作专家，并通过反复交互实现两者的耦合。其核心动机仍是将预训练视频扩散模型所蕴含的时空和物理先验知识（Wan，2025；Ali等，2025）迁移到控制任务中，只不过在架构假设上有所不同：完全共享参数并非总是最佳选择，因为视频预测与动作生成在时间频率、表征尺度以及优化需求上存在差异。从这个意义上讲，这些模型类似于专精化的VLA设计，例如To（Black等，2024）和To.5（Intelligence等，2025b），只是它们的主干并非以静态语义编码器为主，而是一个具备时间预测能力的视频生成器，其表征可能包含有关运动连续性、时间因果关系以及近似物理动力学的有用线索。
从高层次来看，这些方法可被视为与专业专家共同学习一种耦合的预测-控制映射：
$$({\mathbf{h}}_{\ell +1}^v,{\mathbf{h}}_{\ell +1}^a)={\mathcal{F}}_{\ell }^{\text{mix}}({\mathbf{h}}_{\ell }^v,{\mathbf{h}}_{\ell }^a;o_t,l)(15)$$
其中，$l$表示层索引，${\mathcal{F}}_{\ell }^{\text{mix}}$则指代一种逐层交互算子，例如联合注意力、交叉注意力或共享注意力融合（Bao 等，2023），它将视频专家与动作专家耦合起来，同时保留二者各自独立的参数化。从这一视角来看，视频分支充当一个具有时间预测能力的潜在流，而策略则是通过反复将这种前瞻性信息注入到动作分支中获得的，而非通过解码来自完全独立的下游头的动作来生成。

在这一家族中，一种常见的模式是并行专家耦合：即用一个预训练的视频扩散主干网络搭配一个轻量级的动作分支。GE-Act（Liao等人，2026）便遵循了这一模式，它在预训练的视频扩散世界模型旁边引入了一条并行的流匹配动作路径，并利用深度交叉注意力机制将视觉潜在特征注入到动作生成中。在此过程中，视频分支负责提供预测性的世界状态结构，而动作分支则将其转化为可执行的控制指令，且无需在线进行完整的视频渲染。这一范式的早期实现曾借助图像编辑扩散模型，为基于目标的策略预测子目标（Black等人，2023；Hatch等人，2025）。
第二种更为明确的模式是基于混合Transformer的深度交互，其中整个网络中保留了多个专家，并通过共享注意力机制反复融合这些专家信息。Motus（Bi 等，2025）、LingBot-VA（Li 等，2026b）、BagelVLA（Hu 等，2026）以及最近的DiT4DiT（Ma 等，2026）都是其代表性实例。Motus将这一设计最直接地表述为一种混合Transformer架构，配备专门的专家用于理解、视频生成和动作控制。LingBot-VA则进一步将这一思路推向因果世界建模：它将视频和动作标记交织成一个共享的自回归序列，并采用双流混合Transformer架构，以共享注意力机制为核心，将想象的未来状态转化为行动优化的上下文。BagelVLA将同样的理念扩展到更长时域的操作任务，在单次执行循环中交织语言规划、视觉预测和动作生成；其残差流引导技术更是通过单步去噪（Liu 等，2023b），而非完整的视频展开，使视觉预见变得切实可行。DiT4DiT（Ma 等，2026）同样遵循这一思路，采用耦合架构，利用来自视频分支的中间去噪特征来指导动作预测。Fast-WAM（Yuan 等，2026）可被视为该系列中的一个混合型代表：它采用了共享注意力的混合Transformer骨干网络，具备耦合的视频和动作分支，但研究指出，其主要优势可能更多地源自训练过程中的视频协同训练，而非推理阶段对未来的显式想象。在这些变体中，视频分支逐渐不再被视作需要忠实再现的输出，而更被当作一种预测性的潜在过程，其隐状态则作为指导动作生成的关键依据。

第三种模式是潜空间专家化，它将世界建模从像素空间转向结构化的潜动态，同时保留专门的多模态分支。LDA-1B（Lyu等，2026）便代表了这一方向：它将视觉预测引入DINO（Caron等，2021）的潜空间，并通过多模态扩散Transformer内部共享的自注意力机制，将视觉专家与动作专家耦合起来。FRAPPE（Zhao等，2026）则从未来表征对齐的角度出发，遵循了类似的理念：它不直接重建未来的观测数据，而是训练多个并行的专家流，并为每个流配备独立的适配器，然后在潜空间中将其与视觉基础模型进行对齐。尽管这种模式更侧重于训练过程，而非像上述明确架构化的MoT模型那样注重结构设计，但它同样体现了这样一个基本思想：深度耦合的专用预测流能够提升对世界状态的感知能力，从而改进行动生成效果。

综合来看，这些方法弥合了分离式模块化流水线与完全统一的单一主干生成器之间的鸿沟。它们将世界建模直接嵌入策略之中，同时保留了架构的专精特性。具体而言，视频扩散模型提供了预测性的前瞻能力，而MoE/MoT机制则将这种前瞻转化为行动，且不会损失各模态特有的结构。与单一主干方法相比，其关键区别在于架构设计：二者均旨在将未来预测与动作生成相耦合，但这些方法通过深度交互的专业化专家来实现这一目标，而非采用完全参数共享的方式。

3.5 统一模态的VLA模型

统一模态的VLA模型为将世界模型作为策略提供了一条新途径。尽管它们并不总是采用显式的视频世界模型，但仍能在同一多模态策略主干中学习面向未来的预测结构，例如通过未来图像预测、视觉预见或结构化世界知识。如图4(a)所示，与此前基于视频主干的范式不同，这一系列模型将未来建模内置于统一的VLA架构之中，而非通过单独的预测模块引入。

一个重要的子类执行显式的未来状态预测。这些方法直接预测未来的图像，可以是单帧图像，也可以是短时序序列，且这一预测过程作为统一训练目标的一部分。GR-1（Wu等，2024）是一个早期的代表性模型，它在单一的GPT风格Transformer中联合预测动作与未来图像。UP-VLA（Zhang等，2025c）采用了类似策略，利用未来图像预测来同时提升动作生成与视觉泛化能力。WorldVLA（Cen等，2025）则进一步将动作理解与图像理解及生成统一到一个自回归框架中，同时主要将未来图像预测用作联合训练信号，而非作为推理阶段的必选输出。

第二个子类用隐式或潜在的未来建模取代了像素级预测。这些方法并不直接预测未来的帧，而是预测紧凑的、面向未来的表示，这种表示与动作的关联更加紧密。DreamVLA（Zhang等，2025e）预测的是结构化的世界知识，包括动态的空间和语义线索，以支持逆动力学建模。UniVLA（Wang等，2025）在训练后采用原生多模态标记化框架进行世界建模，使模型能够从大规模视频数据中吸收因果动力学，而无需引入单独的外部世界模型。CoWVLA（Yang等，2026a）则进一步推进这一方向，通过建模潜在运动和紧凑的未来视觉目标，而非重建冗余的未来帧。

第三种亚类包括多专家或多系统统一模型，这些模型在训练和任务层面保持统一，但在架构内部仍保留明确的功能专精化。这一类别涵盖F1（Lv等，2025）、InternVLA-A1（Cai等，2026）、HALO（Shou等，2026）以及TriVLA（Liu等，2025d）。尽管这些方法同样采用了专家化或MoT风格的设计，但其预测分支更宜被理解为统一VLA框架内的视觉预见或子目标生成，而非作为原生的视频骨干世界模型。其中，F1在混合Transformer架构中将未来视觉状态作为规划目标进行预测；InternVLA-A1在此基础上引入了轻量级潜在视觉预见，并实现了预见预测与动作生成的联合优化；HALO则进一步将预测分支推向视觉子目标预测与具身推理方向；而TriVLA则将场景定位、情景动态感知与控制整合为协同工作的子系统。
综合来看，统一的VLA模型将作为策略的世界模型这一概念扩展到了超越显式视频生成的范畴。有些模型通过直接预测未来图像来实现这一目标，有些则借助紧凑的潜在或语义世界知识，还有些则采用包含明确预见模块的统一多专家系统。尽管具体实现方式各异，但它们共同遵循一个原则：动作生成不再仅仅被视为从当前观测中进行的纯反应式映射，而是与一种内部预测目标联合训练，该目标能够捕捉未来状态的演化过程或其精简替代表示。相较于前文各小节，关键区别并不在于模型是否包含一个独立的、显式的世界模型，而在于面向未来的预测建模是否内化于同一多模态策略主干之中。

3.6 具有潜在空间世界建模的策略

另一种通往以世界模型为策略的途径，是通过完全在表征空间内内化未来预测的方法来实现的，而无需依赖显式的图像或视频生成。与合成未来观测不同，这类方法构建的是预测性潜在目标、面向未来的嵌入表示，或是紧凑的控制条件，并将它们与同一策略框架内的动作生成相结合。在此背景下，世界建模并非以视觉重建的形式实现，而是学习一种面向未来的表征，这种表征能够以直接有利于控制的方式捕捉环境可能演化的规律。因此，这些方法保留了世界建模的核心优势——即在动作生成中注入预测性结构，同时避免了显式生成解码所带来的计算开销和冗余问题。从概念上讲，这一方向与JEPA系列方法相关（Assran等，2023；2025），后者也是在嵌入空间而非像素层面进行预测建模。然而，本文的重点并不在于JEPA本身，而在于VLA方法的兴起——它将这种表征空间内的预测性原则转化为一种切实可行的策略学习机制。图4(b)展示了这种更加内化的新变体。在此架构中，骨干网络通常仍基于多模态大语言模型（MLLM），而非基于视频DiT，但未来建模已更深入地融入潜在的世界表征或参数化的世界知识之中，从而使得动作生成完全由内在的预测性结构引导，而无需显式的未来图像解码。

从时间顺序上看，FLARE（Zheng等，2025）是这一方向的早期代表。它提出了“未来潜在表征对齐”方法，通过将动作去噪网络的隐层特征与未来观测的潜在嵌入进行对齐，使策略能够隐式地预测未来状态，而无需显式生成这些状态。VLA-JEPA（Sun等，2026）则进一步明确了这一点，采用了JEPA风格的预训练目标来应用于VLA：其核心设计在于实现无泄漏的状态预测，即仅利用未来帧生成潜在目标以进行监督，从而促使模型在潜在空间中学习与动作相关的状态转换，而非简单地通过像素变化捷径完成任务。JEPA-VLA（Miao等，2026）采取了一条互补路径：它并未额外添加显式的潜在预测头，而是认为由视频JEPA模型——尤其是V-JEPA 2（Assran等，2025）——所学习的预测性嵌入本身已能提供比静态视觉表征更强的策略先验，因此直接将这些预测性嵌入作为现有VLA模型的更优骨干网络加以应用。最近，WoG（Su等，2026）则将世界建模引入到动作生成的条件空间中：它不再预测未来的图像或通用的未来潜在表示，而是转而学习预测将面向未来的紧凑条件与行动相结合，使该模型能够直接预测对未来信息中最有助于精准控制的部分。DIAL（Chen等，2026c）提供了一个密切相关的最新实例：通过潜在世界建模，将高层意图与低层行动解耦，并在VLM特征空间中利用潜在视觉预见作为结构化瓶颈，以支持下游行动的生成。

除了神经网络的潜在表征之外，一种相关但更传统的非像素抽象形式也出现在面向符号或规划器的世界模型中。与上文所回顾的神经网络策略主干不同，这些方法通常将世界建模外化为一种基于谓词、对象关系、可操作性、算子或因果过程的抽象转移模型，随后由符号型或任务与运动规划器进行查询，以生成高层次技能序列（Silver等，2021；Shah等，2025；Liang等，2025c；Athalye等，2026；Liang等，2026）。我们将这一研究方向纳入其中，作为一项互补视角，旨在强调：有用的世界模型并不一定依赖于预测像素；它们同样能够捕捉抽象逻辑、对象关系、因果规律以及符号动力学，从而用于规划与控制。

综上所述，本小节突出了一种基于世界模型的策略学习的非像素化路径。其核心思路是潜空间世界建模：在这种方法中，策略无需显式解码未来图像或视频，却依然能够内化未来的动态信息，从而生成行动。上述符号规划器的例子进一步印证了这一更广泛的观点：当紧凑的潜变量或抽象变量能够提供更直接的行动接口时，与控制相关的预测便可借助它们来实现。

参考

---

1. [World Model for Robot Learning: A Comprehensive Survey. Hou, B., Li, G., Jia, J., et al. (2026). Nanyang Technological University, University of California, Berkeley, Stanford University, et al.]([2605.00080] World Model for Robot Learning: A Comprehensive Survey) ↩︎