前言

2026年6月27日，当前时间节点，世界模型（即对环境在行动作用下演化过程的预测性表征）已成为机器人领域最领先的部分。其支持策略学习、规划、仿真、评估以及数据生成，并随着基础模型和大规模视频生成技术的兴起而迅猛发展。

本文对世界模型进行了全面的综述，涵盖世界模型如何与机器人策略相耦合，如何作为学习型仿真器服务于强化学习与评估，以及机器人视频世界模型如何从基于想象的生成方式，演进为可控的、结构化的以及基础模型规模的全新范式。

本系列文章主要参考南洋理工、加州伯克利、斯坦福等高校共同编写的World Model for Robot Learning: A Comprehensive Survey¹，希望能通过这篇文章的整体描述让大家对于机器人世界模型当前的格局有全面的了解。

https://github.com/NTUMARS/Awesome-World-Model-for-Robotics-Policy

https://ntumars.github.io/wm-robot-survey/

正文

2 背景

2.1 世界模型与视频生成模型

为本调查的后续内容建立一套精确的术语体系，我们首先对文中广泛使用的两个密切相关概念进行明确界定。在近期的具身智能研究文献中，“世界模型”这一术语被用得相当宽泛，既指潜在动力学模型、未来状态预测器、视频预测器，甚至包括大型策略内部的隐式预测结构。由于我们的研究重点在于策略本身，而非纯粹的生成任务，因此我们将这些术语用于一种更为精确且功能导向的语境中。

2.1.1 世界模型

在本调查中，我们所使用的“世界模型”一词，侧重于机器人与具身化的视角，而非广义的生成性含义。具体而言，世界模型是指一种用于预测智能体与环境动态关系的模型，它能够刻画机器人或具身系统在各种行动下的演化过程。在最典型的形式下，该模型描述了一个状态转移过程：给定当前状态或观测值以及一项行动，它能够预测下一个状态或一系列未来状态，如图1底部所示。
在这里，我们采用了一种广义的预测控制意义上的“动作”概念。也就是说，无论是低级运动指令还是高级语言指令，都被视为动作：前者是智能体执行的具体物理动作，而后者则是高层次语义动作，用于指定未来应实现的目标。为与本综述其余部分的记号保持一致，我们对这两种形式的动作加以区分，用a表示低级物理动作，用l表示高级语言或任务动作。根据这一约定，一般形式可表述为：
$$p(x_{t+1:t+H}\mid x_t,a_{t:t+H-1},l),$$
其中，xt表示第t时刻的建模状态，at:t+H-1表示在时域长度H内的动作序列，l表示高层次动作规范，例如语言指令或目标描述。这一表述对状态空间的选择持有意的不可知态度。在我们的设定中，重要的是预测出的未来是否能够为下游具身决策提供可操作性依据。

根据这一定义，我们从功能角度将“世界模型”用于指代那些其输出能够支持与策略相关的计算——包括控制、规划、仿真、评估以及数据生成——的预测模型。其核心特征并不仅仅在于预测一个看似合理的未来，而更在于以一种有助于具身决策的方式，预测在机器人相关动作下未来状态的变化。因此，这一定义比计算机视觉中一般意义上的未来预测更为狭窄：仅仅因为某个模型能够生成看似合理的未来图像或视频，并不意味着它就符合我们所定义的世界模型标准。相反，该模型必须以一种与机器人交互相关且对后续策略计算具有实际价值的形式，来捕捉环境的演化过程。在具身控制领域，最重要的一类世界模型是基于动作条件的世界模型，因为即使未来场景在视觉上合理，但如果与实际动作不一致，对于闭环决策而言其价值也极为有限。根据具体方法的不同，所建模的变量x可以是视觉观测、潜在状态、结构化的物理状态，甚至用于规划的抽象符号状态（Liang等，2026；2025c；Athalye等，2026；Liang等，2026），这既涵盖了经典的潜在动力学模型，也包括了用于机器人学习的新型生成式预测模型。在符号化的情形下，世界模型所预测的是谓词、对象关系、可操作性或因果过程的转变，而非像素级别的变化（Liang等，2025c；Athalye等，2026；Liang等，2026）。
然而，在当前具身系统中，最常见且可扩展的状态实现方式恰恰是一种观测流，尤其是视觉观测序列。正因如此，许多实际的机器人世界模型都直接在视觉观测空间中构建。因此，尽管世界模型是一个更为通用的概念，但本综述所关注的具体模型主要还是视觉世界模型，即定义于未来观测之上的视频生成模型。

2.1.2 视频生成模型

视频生成模型直接在图像或视频空间中预测未来。在具身场景中，它可以被表述为：
$$p(v_{t+1:t+H}\mid o_t,a_{t:t+H-1},l)(1)$$
其中，ot表示当前观测，它可以从多个视角呈现观测结果；vt+1:t+H则表示未来的帧或视频片段。与隐状态世界模型相比，这种表述方式能够更完整地保留空间、时间和交互方面的丰富细节，因为未来被明确地以视觉证据的形式呈现，而非抽象的状态变量。从上述视角来看，这种模型可被视为一种在视觉观测空间中实例化的世界模型。由于视觉观测是具身智能体最常获取的状态形式，因此这种视觉实例化也成为本综述中主要关注的范式。需要注意的是，这种聚焦并不意味着像素级预测就是控制任务的最佳抽象方式；相反，这恰恰反映了近年来机器人学习文献中基于视频的世界模型所占据的重要地位。
然而，这种视觉上的高度直观性也使得建模问题变得更为艰巨。除了感知真实度之外，一个具身化视频生成模型还必须确保时间连贯性、动作一致性、物理合理性以及长时程稳定性。近期，在大规模视频生成骨干网络方面的进展，已使这类建模在机器人领域日益可行（Yang等，2024b）。因此，视频生成模型不再仅用于被动的视觉延续，而是越来越多地被改造为基于动作条件的预测模块，以支持基于想象力的监督、可控的展开、模拟器构建，以及面向机器人学习的合成数据生成（Liang等，2024；Zhou等，2024；Pai等，2025；Zhu等，2025b；Guo等，2026b；Huang等，2026；Liao等，2026）。
其中，基于动作条件的视频生成模型在具身智能领域占据着尤为重要的地位。在此，对“动作”这一概念应作广义理解：条件输入既可来自低级的连续控制，也可来自更高层次的任务或语言描述——后者明确了未来应实现的具体目标。无论采用哪种形式，这些模型都继承了视频预测的强大表达能力，同时能够模拟视觉未来如何随候选动作而变化。这使得它们特别适合本综述所聚焦的以策略为中心的场景：它们不仅能作为合理未来场景的生成器，还能充当控制、规划及策略优化的预测基础。因此，除非另有说明，本综述后续讨论的世界模型主要指基于视频的世界模型，并尤其侧重于基于动作条件的情形。

2.2 机器人策略

最先进的机器人控制方法已从解析控制器转向端到端学习模型（Ai等，2025）。从形式上讲，机器人的策略是一种决策模型，它将物理控制问题转化为动作预测任务，即把当前的环境观测映射到未来的动作轨迹。在此，我们特别关注模仿学习范式，在这种范式中，策略通过直接从专家示范中学习来生成行为。

给定当前观测ot （包括视觉和本体感觉状态）以及可选的语言指令 l，策略会预测未来的动作序列 at+1:t+k。这一过程通常被建模为以下条件概率分布：
$$p(a_{t+1:t+k}|o_t,l)(2)$$
在实践中，将预测动作构建成长度为k的时序片段已成为一种主要策略，以确保时间一致性并有效缓解误差累积问题（Chi等，2023；Zhao等，2023；Wu等，2026b）。从架构角度来看，当前的机器人策略主要分为两大范式：专门化的视觉运动（VA）策略与通用型视觉-语言-行动（VLA）模型。前者以扩散策略（Diffusion Policy，Chi等，2023，2025a；Dasari等，2025）为代表，专注于训练针对特定任务、通常轻量级的端到端网络，这些网络利用生成式建模，能够高精度、低延迟地捕捉复杂的动作分布。与此相反，VLA模型则由RT-2（Zitkovich等，2023）、OpenVLA（Kim等，2025）以及π0（Black等，2024）率先提出，它们通过在大规模机器人轨迹数据上对大规模视觉-语言模型（VLM）进行微调而开发出来（Open X-Embodiment合作，2024），从而继承了基础模型所蕴含的丰富语义知识和开放词汇推理能力，实现了更出色的跨任务（Octo Model团队等，2024）与跨具身泛化能力（Doshi等，2024）。

2.2.1 VA策略

视觉运动策略建立了一种从原始状态到动作空间的直接映射，从而形成一种通常轻量但泛化能力受限的架构。最直接的方法是将这一映射表述为一个回归任务（Bain和Sammut，1995；Osa等，2018；Zhao等，2023）。在这种范式中，神经网络对当前观测进行编码，并直接确定性地回归出连续的物理动作值。

为应对人类演示固有的多模态特性，近期的视觉运动策略越来越多地采用生成模型。这些方法利用生成技术捕捉完整的动作分布，例如基于扩散模型的扩散策略（Chi等，2023；2025a），以及流匹配方法（Zhang和Gienger，2024；Lipman等，2023；Liu，2022）。通过将动作预测建模为条件生成过程，这些模型能够从初始高斯噪声出发，合成高保真、多模态的动作序列。此外，为了提升采样效率并加速生成过程，近期的研究还探索用更具信息量的基分布替代标准的高斯噪声，比如视觉表征（Gao等，2025a）和动作历史（Jia等，2026b）。Pan等（2026）发现，生成策略通过引入随机性并采用监督迭代计算，能够更好地保持流形一致性，从而在性能上优于回归方法。

2.2.2 VLA策略

为了充分利用VLM的强大推理能力，VLA模型通常会在预训练的骨干网络中配备一个专门的动作头，并对整个框架进行联合微调，以适应机器人轨迹数据。在VLA模型中，动作预测主要融合了离散与连续两种表征范式。

一方面，离散动作标记化将连续动作量化为与语言模型处于同一词汇空间的标记，直接利用视觉语言模型（VLM）的下一个标记预测能力，这一方法已在RT-2（Zitkovich等，2023）和OpenVLA（Kim等，2025）中得到成功验证。尽管基于标准分箱的离散化方法在处理高频控制时可能面临困难，但FAST（Pertsch等，2025）提出了一种频率域动作序列标记化方法（FAST），该方法借助离散余弦变换（DCT）将动作片段压缩成稠密的标记序列。这使得自回归 VLA 能够以生成模型级别的精度处理高度灵巧的任务，同时显著减少训练时间。 它的模仿学习目标与标准负对数似然损失相同。

另一方面，为克服量化误差并保持高频控制的精度，连续动作表示已成为一种颇具前景的替代方案。这种方法通常将动作头视为一个条件生成器，通过学习概率生成模型——例如扩散模型或流匹配——来实现这一目标，以(Black等，2024；Intelligence等，2025a,b)系列研究为代表。与预测确定性数值不同，这些生成式方法能够对人类示范的完整多模态分布进行建模。

参考