世界动作模型（WAM）综述：从 VLA 到具身智能的下一前沿

本文是对综述论文 World Action Models: The Next Frontier in Embodied AI (Wang et al., 2026, arXiv:2605.12090) 的系统整理与讲解。论文主页：https://openmoss.github.io/Awesome-WAM ；代码仓库：https://github.com/OpenMOSS/Awesome-WAM 。

全文按"整体概述 + 八大章节"组织，涵盖 WAM 的定义、基础 lineage、架构分类法（级联式 / 联合式）、训练数据生态、评估体系与开放挑战。

---

世界动作模型(WAM)综述：整体概述

本文是《World Action Models: The Next Frontier in Embodied AI》综述博客系列的第一章，旨在为读者提供一份执行摘要式的总览。读完本章，你将把握整篇综述的脉络：从研究动机、WAM 的形式定义与核心判据，到 Cascaded / Joint 两大架构范式，再到训练数据生态、评估体系与开放挑战。

研究背景与动机：从 VLA 到 WAM 的范式跃迁

让机器人在非结构化的物理环境中感知、推理并行动，长期以来一直是具身智能（Embodied AI）研究的核心目标。近年来，这一领域逐渐汇聚到一个强有力的范式之上：视觉-语言-动作模型（Vision-Language-Action, VLA），即将预训练的视觉-语言骨干网络重新改造为通用的机器人策略。

通过把动作生成形式化为"在互联网级视觉与语言表征之上的条件化 token 预测"，VLA 模型展现出了惊人的泛化能力：能够遵循新颖的语言指令、操纵从未见过的物体，并在极少微调的情况下跨机器人本体迁移。这些结果表明，大规模视觉-语言预训练阶段所积累的语义理解，能够被有效"落地"（grounded）为运动行为，相对于早期任务专属的控制器而言是一次质的飞跃。

经典论文：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — 与WAM的关系及核心创新：RT-2 是 VLA 范式的奠基之作，它将机器人动作离散化为 token、与语言 token 统一在同一个大模型中预测，证明了互联网级视觉-语言知识可迁移到机器人控制。WAM 综述将其作为"前 WAM 时代"VLA 范式的代表，正是 WAM 试图超越的出发点——RT-2 学到的是反应式"观测→动作"映射，而未显式建模世界动力学。

经典论文：OpenVLA: An Open-Source Vision-Language-Action Model — 与WAM的关系及核心创新：OpenVLA 提供了开源、可复现的 VLA 基座，基于 Prismatic VLM 在大规模机器人轨迹数据上微调，支持 LoRA 等高效微调。它是综述中讨论 VLA 局限性（如缺乏前瞻性物理推理）时的代表性对照工作。

经典论文：UniPi: Learning Universal Policies via Text-Guided Video Generation — 与WAM的关系及核心创新：UniPi 是 Cascaded WAM 的早期先驱之一，它把"策略"重新定义为"文本引导的视频生成"，先生成未来视频再从中解码动作，开创了"视频即规划"的思路。它直接体现了 WAM"先预测未来状态、再导出动作"的级联思想。

然而，标准 VLA 模型存在一个根本性的盲点：它们并不显式地建模世界动力学——只学习直接的"观测→动作"映射，而不预测环境在干预之下将如何演化。这种"预测性物理推理"（predictive physical reasoning）的缺失，严重限制了模型在那些必须预判未来状态才能成功执行的场景中的泛化能力。综述指出，已有研究表明 VLA 在面对分布外扰动时鲁棒性不足，其根源正在于此。

于是，为具身策略模型注入"世界建模"（world modeling）能力，自然地成为下一个研究方向。一批新兴工作开始把世界模型——环境动力学的预测模型——整合进具身策略管线，为智能体提供"物理先见之明"（physical foresight）。这些方法主要通过三条路径实现：

• 视频预测作为视觉规划（video prediction as visual planning）：直接生成未来视频帧作为可执行的"想象"，再从中提取动作；
• 隐动力学建模用于策略条件化（latent dynamics modeling for policy conditioning）：在隐空间中预测状态演化，为策略提供前瞻表征；
• 统一架构内的联合状态-动作生成（joint state-action generation within unified architectures）：在共享表征空间中同时优化状态预测与动作生成。

这一新兴方向已迅速积蓄动能，形成了多样且不断扩张的方法版图。正是在此背景下，综述把这一类方法统称为 世界动作模型（World Action Models, WAMs）。

WAM 的形式定义与核心判据

综述对 WAM 给出了明确的形式化定义，使其区别于一般的"带世界模型的策略"或"会生成视频的策略"。

形式定义

世界动作模型（WAM） 是一类具身基础模型，它将预测性状态建模与动作生成统一起来，目标是建模未来状态与动作的联合分布，而不仅是动作本身：

$$p(o^{\prime },a\mid o,l)$$

其中 $o$ 为当前观测，$l$ 为语言指令，$o^{\prime }$ 为预测的未来状态，$a$ 为待执行的动作。

这一定义的关键在于"联合分布"四字：标准 VLA 只建模 $p(a\mid o,l)$，而 WAM 显式地把未来状态 $o^{\prime }$ 纳入建模对象。这一改动看似微小，却带来三重收益：

1. 更强的物理理解：模型必须理解"动作如何改变世界"，从而内化物理常识；
2. 更好的跨环境泛化：具备前瞻能力的策略在面对新场景时能"想象"后果再决策；
3. 可利用无动作标注的大规模人类视频数据：因为联合分布允许从仅有视频、无动作标签的数据中学习状态转移，极大拓宽了具身策略学习的数据基础。

与相邻概念的辨析

综述强调，当前文献在术语上高度碎片化，WAM 的边界常与以下概念混淆。第二章对此做了系统辨析：

概念	建模对象	与 WAM 的关键差异
标准 VLA	$p(a\mid o,l)$	不预测未来状态，纯反应式映射
动作条件世界模型（Action-Conditioned WM / VAM）	$p(o^{\prime }\mid o,a,l)$	只预测状态、不生成动作；动作作为条件输入
视频策略（Video Policy）	从视频生成动作	把视频生成器当策略用，但未必建模联合分布
WAM	$p(o^{\prime },a\mid o,l)$	显式联合建模未来状态与动作

具体而言：

• WAM vs. VLA：VLA 是 WAM 的"前驱与子集"——WAM 在 VLA 之上增加了对未来状态的显式预测。WAM 可视为"VLA + 世界模型"的统一体。
• WAM vs. 动作条件世界模型（VAM）：VAM 给定动作预测下一状态 $p(o^{\prime }\mid o,a,l)$，本身不产出动作；WAM 则同时产出状态与动作。VAM 可作为 WAM 的一个组件，但两者不等价。
• WAM vs. 视频策略（Video Policy）：视频策略泛指"用视频生成模型驱动的策略"，强调的是生成范式；WAM 强调的是建模目标（联合分布）。一个视频策略若是只生成视频再机械解码动作、却不显式优化联合分布，则属于 Cascaded WAM 的一种实现，而非 WAM 的全部。

这一组辨析构成了综述分类法的概念基石，也是后续章节展开的基础。

两大架构范式：Cascaded 与 Joint WAM

基于对联合分布 $p(o^{\prime },a\mid o,l)$ 的不同分解/建模方式，综述将现有 WAM 方法组织为两大架构类别，并在第四章按"生成模态、条件化机制、动作解码策略"做进一步细分。

1. Cascaded WAM（级联式）

Cascaded WAM 显式地分解建模目标：

$$p(o^{\prime },a\mid o,l)=p(a\mid o^{\prime },o,l)\cdot p(o^{\prime }\mid o,l)$$

其工作流是"先想象、后动作"：先合成对未来状态的表征（如生成未来视频、预测隐状态轨迹或 3D/4D 场景），再从这些预期未来状态中派生出动作。世界建模与动作执行在这里是解耦的，通常沿"显式表征对齐"（Explicit representation alignment）与"隐式表征对齐"（Implicit representation alignment）两条轨迹演化。

• 显式轨迹：未来状态以视频帧、光流、3D 点云、4D 场景等显式形式生成，动作从中显式提取（如通过逆动力学模型、流场到动作的映射）。
• 隐式轨迹：未来状态以隐空间表征形式存在，策略在隐空间中被条件化，动作通过学习到的解码器产出。

代表工作包括 UniPi（视频作为规划）、基于流场的方法（如 3DFlowAction、Im2Flow2Act、Dream2Flow）、以及各类以视频生成为前端、动作解码为后端的管线。

2. Joint WAM（联合式）

Joint WAM 直接建模联合分布 $p(o^{\prime },a\mid o,l)$，状态预测与动作生成在共享的表征空间内被协同优化，而非分阶段处理。这类方法在架构上进一步分化：

• 自回归（Autoregressive）生成：将状态与动作统一为 token 序列，逐 token 自回归预测（如 WorldVLA、GR-1/GR-2、RynnVLA 等）。
• 基于扩散（Diffusion-based）生成：用扩散模型同时去噪生成视频与动作（如 CoVAR、DiT4DiT、Unified Diffusion VLA、UMWM 等）。扩散分支进一步按骨干网络细分为**统一流（Unified Stream）与多流（Multi-Stream）**两种结构。

图1 直观呈现了这两大类方法自 2024 年以来的时序演化：左半枝为 Joint WAM（自回归 / 扩散，扩散再分统一流与多流），右半枝为 Cascaded WAM（显式 / 隐式对齐）。综述特别说明，这些结构策略代表的是该领域在"架构耦合度"上的主要探索方向，而非严格的先后替代关系。

两大范式各有利弊：Cascaded 范式模块化、可复用现成视频生成模型、便于利用无动作标注数据，但误差会沿级联累积、两阶段训练目标难以对齐；Joint 范式端到端、表征共享更紧密、理论上联合优化更优，但训练难度大、对架构与数据规模要求更高。综述第四章在统一的框架下对二者进行了系统的权衡分析。

训练数据生态

WAM 的崛起在很大程度上得益于数据基础的大幅扩张。第五章分析了支撑 WAM 发展的四大类数据源，并讨论了每类数据的特性如何塑造所训练模型的能力：

数据源	典型代表	动作标注	主要优势	主要局限
机器人遥操作数据	Open-X-Embodiment、BridgeData V2、RH20T、RoboMind、ARiA 等	有	真机轨迹、动作标签精确	规模有限、本体单一、采集成本高
便携式人类示教数据	UMI 及其变体（UMI on Legs、DexUMI、ActiveUMI、ExUMI 等）	部分可恢复	低成本、可大规模、手部灵巧性	需手-机器人映射、本体差异
仿真数据	各类仿真器生成的合成轨迹	有（自动）	可控、可大规模、可标注奖励	模拟到现实（sim-to-real）鸿沟
互联网级第一人称视频	网络规模的 egocentric 视频	无	规模巨大、覆盖广、富含物理常识	无动作标注、需隐动作推断

这里的关键洞见是：正是 WAM 的联合分布建模目标，使得第四类——无动作标注的互联网视频变得可用。传统 VLA 必须依赖带动作标签的数据，而 WAM 可以通过隐动作建模（如 LAPA 的 latent action）、视频预测等方式，从海量无标注人类视频中学习世界动力学。这一点从根本上重塑了具身策略学习的数据版图。

经典论文：Dreamer: Dream to Control — Learning Behaviors by Latent Imagination — 与WAM的关系及核心创新：Dreamer 系列是经典世界模型的代表，在隐空间中"想象"未来并基于想象做 Actor-Critic 训练。它奠定了"隐动力学建模 + 策略条件化"这一思路，是 WAM 背景章节中"基于模型的强化学习"谱系的核心节点，启发了大量隐式 Cascaded/Joint WAM 的设计。

经典论文：PlaNet: Learning Latent Dynamics for Planning from Pixels — 与WAM的关系及核心创新：PlaNet 提出从像素学习隐动力学模型（循环状态空间模型 RSSM 的前身），并在隐空间中做模型预测控制（MPC）。它是"隐动力学建模用于规划"的奠基工作，构成 WAM 从经典 MBRL 到现代基础模型方法的承上启下环节。

经典论文：Genie: A Generative Interactive Environment — 与WAM的关系及核心创新：Genie 是"从无标注互联网视频学习可控、可交互世界模型"的代表，仅用视频即可训练出可被动作驱动的交互式环境。它直接示范了 WAM 利用无动作标注大规模视频数据的可行性，是数据生态与架构交叉处的里程碑。

评估体系

作为一个新兴范式，WAM 尚无统一、成熟的评估基准。第六章将涌现中的评估方法组织为三个维度：

1. 视觉保真度（Visual Fidelity）：评估生成的未来状态（尤其是视频）在像素层面是否真实、连贯、与条件一致。常用指标包括 FID/FVD、CLIP 相似度、时序一致性等。
2. 物理常识（Physical Commonsense）：评估模型是否理解物理规律——如物体持久性、重力、碰撞、支撑关系、空间布局合理性。这是 WAM 区别于纯视频生成模型的关键维度。
3. 动作合理性（Action Plausibility）：评估生成的动作能否真正完成任务、是否可行、是否与预期未来状态自洽。通常通过真机/仿真 rollout 的成功率、动作平滑性、与人类示教的相似度等衡量。

综述同时指出当前评估协议的不足：现有基准往往只覆盖其中一两个维度，缺少同时考察"想象质量"与"动作执行"的端到端评估；物理常识的评估仍依赖启发式或人工判断，缺乏可扩展的自动化协议。如何设计真正面向 WAM 联合分布特性的评估体系，是开放的挑战之一。

开放挑战与未来方向

第七章总结了 WAM 领域面临的关键障碍与未来机遇，主要包括：

• 长程预测的可靠性：如何在世界模型中维持长时间跨度的状态预测质量，避免误差爆炸与模糊化；
• 物理一致性与因果建模：如何让模型真正理解因果而非仅拟合像素相关性，从而具备真正的物理推理而非"看似合理"的幻觉；
• 架构与效率的权衡：Joint WAM 表达力强但训练昂贵，Cascaded WAM 模块化但误差累积，如何设计兼具二者之长的混合架构；
• 数据规模与多样性的瓶颈：尽管人类视频极大扩展了数据池，但跨本体、跨场景、跨任务的对齐与利用仍困难；
• 评估与对齐：建立可信、可扩展、面向联合分布的评估协议，并将评估信号反馈到训练（如以世界模型作为 RL 训练的仿真器/奖励源）；
• 安全性与可控性：当模型具备"想象未来"能力后，如何确保其想象与决策符合人类意图与安全约束。

综述最终展望：走向更鲁棒、更具泛化能力的世界动作模型，需要架构、数据、评估三者的协同推进，而 WAM 范式本身——将"理解世界如何演化"与"决定如何行动"统一在同一个基础模型中——正是具身智能迈向通用性的关键一步。

本章小结

本章作为整篇综述的执行摘要，勾勒了世界动作模型（WAM）的全景脉络：

• 动机：标准 VLA 缺乏对世界动力学的显式建模，限制了泛化与前瞻能力，催生了将世界模型融入动作生成管线的 WAM 范式。
• 定义：WAM 是统一预测性状态建模与动作生成的具身基础模型，建模联合分布 $p(o^{\prime },a\mid o,l)$，并以"是否显式联合建模未来状态与动作"作为与 VLA、VAM、Video Policy 的核心判据。
• 架构：分为显式分解的 Cascaded WAM（先想象后动作，沿显式/隐式对齐演化）与直接建模联合分布的 Joint WAM（自回归 / 扩散，扩散再分统一流与多流）两大范式。
• 数据：依托机器人遥操作、便携式人类示教、仿真、互联网级第一人称视频四大来源，其中无动作标注视频因联合建模目标而变得可用，从根本上扩张了数据基础。
• 评估：围绕视觉保真度、物理常识、动作合理性三个维度展开，现有协议仍存显著缺口。
• 挑战：长程预测、物理因果、架构效率、数据对齐、评估协议与安全性是迈向通用 WAM 的关键关卡。

后续章节将依次深入定义与辨析（Sec.2）、背景脉络（Sec.3）、架构分类法（Sec.4）、训练数据生态（Sec.5）、评估体系（Sec.6）与开放挑战（Sec.7），逐步展开这张路线图的每一个分支。

---

第1章 引言：从VLA到世界动作模型

让机器人能够在非结构化的物理环境中感知、推理并行动，这一直是具身智能（Embodied AI）研究的核心驱动力。本章梳理了综述《World Action Models: The Next Frontier in Embodied AI》的引言脉络：从 Vision-Language-Action（VLA）范式的主导地位出发，指出其"反应式"映射的根本局限，进而引出"世界动作模型"（World Action Models, WAMs）这一正在快速兴起的研究方向，并给出其形式化定义、两大架构分类（Cascaded WAM 与 Joint WAM），以及本综述的整体组织结构。

1.1 背景：具身智能与 VLA 范式的崛起

构建能够在非结构化（unstructured）物理环境中感知、推理并行动的机器人，长期以来都是具身智能研究的根本目标。这类环境之所以"非结构化"，是因为其中的物体、布局、光照与干扰因素无法像仿真器或工业流水线那样被精确建模与控制；机器人必须在开放世界中面对未曾见过的物体、指令与扰动做出合理决策。

近年来，该领域逐渐汇聚到一个强有力的范式之上：Vision-Language-Action（VLA）模型。其核心思路是，将互联网规模预训练得到的视觉-语言骨干网络（vision-language backbone）复用为通用的机器人策略（generalist robot policy）。具体而言，VLA 把动作生成（action generation）形式化为建立在互联网规模视觉与语言表征之上的条件化 token 预测（conditional token prediction）：给定当前的视觉观测 $o$ 与语言指令 $l$，模型直接预测出需要执行的动作 token 序列 $a$。

在这一思路下，RT-2、OpenVLA、${\pi }_0$ 等代表性工作展现出了令人瞩目的泛化能力，包括：

• 跟随全新的、未见过的语言指令；
• 操控此前从未见过的物体；
• 在不同机器人本体（embodiment）之间迁移，仅需少量微调。

这些结果共同表明：在大规模视觉-语言预训练阶段所积累的语义理解能力，可以被有效地"接地"（grounded）到运动行为（motor behavior）之中。相较于此前的任务专用控制器（task-specific controllers），这是一种质变性的进步。也正因如此，VLA 模型已被确立为通用具身策略学习的主导范式，围绕该思路的后续工作迅速铺展开来。

经典论文：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — 与WAM的关系及核心创新：RT-2 是 VLA 范式的奠基之作之一，综述将其列为 WAM 出现之前的代表性 VLA。其核心创新在于将动作离散化为 token，直接复用大型视觉-语言模型（PaLI-X / PaLM-E 级别）的预训练表征，把机器人控制转化为条件文本生成问题，首次展示了互联网级语义知识向真实机器人操作的迁移。

经典论文：OpenVLA: An Open-Source Vision-Language-Action Model — 与WAM的关系及核心创新：OpenVLA 是综述引用的开源 VLA 代表，定位为 VLA 范式的开放基线。其核心创新在于以开源形式提供基于 Prismatic VLM 骨干、在 Open X-Embodiment 数据上训练的通用策略，并通过 LoRA 微调在多任务与跨本体设置下取得强竞争力，降低了 VLA 研究的进入门槛。

经典论文：${\pi }_0$: A Vision-Language-Action Flow Model for General Robot Control — 与WAM的关系及核心创新：${\pi }_0$ 是综述重点引用的新一代 VLA，被视为从 VLA 走向 WAM 的过渡性代表。其核心创新在于以"流匹配"（flow matching）作为连续动作生成的去噪目标，并将视觉-语言骨干与动作专家（action expert）结合，从而在灵巧操作等高自由度任务上展现出更强的通用控制能力。

1.2 VLA 的根本局限：缺失的世界动力学

然而，标准的 VLA 模型并不显式地建模世界动力学（world dynamics）。它们学到的是从观测到动作的直接映射（observation-to-action mapping），而没有预测环境在干预之下会如何变化。换言之，标准 VLA 是一种"反应式"（reactive）策略：它看到当前画面就输出动作，却不具备"如果我这样做，世界会变成什么样"的预测性物理推理（predictive physical reasoning）能力。

这种缺失直接限制了 VLA 在那些必须预判未来状态的场景中的泛化能力。例如：在需要多步规划的长时程任务中、在存在遮挡与延迟的部分可观测环境中、在需要避免不可逆后果的精细操作中，单纯依赖"当前观测 → 动作"的映射往往不足以应对。综述引用的稳健性分析工作（如 LIBERO-Plus）正是从实证角度暴露了 VLA 在分布外扰动下的脆弱性，提示这一局限并非偶发，而是范式层面的问题。

经典论文：LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models — 与WAM的关系及核心创新：该工作被综述用来佐证"标准 VLA 缺乏对世界动力学的显式建模、因而泛化受限"这一论断。其核心创新在于构建一套系统的鲁棒性基准，从视觉、语言、动力学等多个扰动维度对 VLA 进行深度剖析，揭示了反应式策略在分布外场景下的性能塌陷。

正因如此，为具身策略模型赋予世界建模能力，自然地成为了一条重要的研究方向。一条不断壮大的研究脉络已经开始将世界模型（world models）整合进具身策略的训练与推理流水线之中。这些方法利用环境动力学的预测模型，为智能体提供"物理前瞻"（physical foresight），其具体实现路径大体可分为三类：

1. 以视频预测作为视觉规划（video prediction as visual planning）：先生成未来可能发生的视频帧/片段，再从中导出动作；
2. 以隐式动力学建模作为策略的条件信号（latent dynamics modeling for policy conditioning）：在隐空间中预测状态演化，用预测的隐状态指导策略；
3. 在统一架构内联合生成状态与动作（joint state-action generation within unified architectures）：把"预测未来"与"生成动作"放进同一个模型、同一个优化目标里共同学习。

这一新兴方向迅速获得了发展势能，形成了一个多样且仍在扩张的方法版图。

1.3 走向世界动作模型（WAMs）

1.3.1 形式化定义

综述将上述这一类方法统称为世界动作模型（World Action Models, WAMs），并给出如下定义：

WAMs 是一类具身基础模型（embodied foundation models），它将预测性状态建模（predictive state modeling）与动作生成（action generation）统一起来，其优化目标不再是"仅在给定观测和指令下生成动作"的分布 $p(a\mid o,l)$，而是面向未来状态与动作的联合分布：

$$p(o^{\prime },a\mid o,l)$$

其中 $o$ 为当前观测、$l$ 为语言指令、$o^{\prime }$ 为（预测的）未来状态、$a$ 为待执行的动作。

这一形式化看似简洁，却蕴含着关键的范式转变：模型不再只回答"我现在该做什么"，而是同时回答"如果我这样做，世界会变成什么样，我又该做什么"。这种将预测（what will happen）与决策（what to do）耦合进同一目标的思路，正是 WAM 区别于纯 VLA 与纯世界模型的本质。

1.3.2 两大架构分类

在上述统一目标之下，现有 WAM 方法在架构耦合方式上大体可分为两类（见图1的时序演化与分类法）：

（1）级联式 WAM（Cascaded WAM）——显式地对联合目标进行因式分解：

$$p(o^{\prime },a\mid o,l)=p(a\mid o^{\prime },o,l)p(o^{\prime }\mid o,l)$$

也就是说，模型首先合成"预期未来状态"的某种表征（可以是生成的视频、点云、光流、隐状态等），然后再从这些表征中推导出动作。其特点是"先想象、后行动"，世界建模与动作执行在流程上是解耦的，并沿着显式表征对齐（Explicit representation alignment）与隐式表征对齐（Implicit representation alignment）两条轨迹演化。

（2）联合式 WAM（Joint WAM）——直接对联合分布 $p(o^{\prime },a\mid o,l)$ 建模，状态预测与动作生成在共享的表征空间内被协同优化（co-optimized）。其特点是"想象与行动同源"，状态与动作的生成共用同一套主干与目标；进一步在生成模态上分化为自回归（Autoregressive）与扩散（Diffusion-based）两类表征方案，其中扩散路线又可再分为统一流（Unified Stream）与多流（Multi-Stream）两种骨干结构。

需要强调的是，正如综述在图1说明中所指出的：这两种结构策略代表的是该领域在架构耦合上的主要探索方向，而非严格的、前后替代的时序阶段。它们至今并存，各自在数据效率、可控性、推理速度等维度上有所取舍。

经典论文：UniPi: Learning Universal Policies via Text-Guided Video Generation — 与WAM的关系及核心创新：UniPi 是综述在"视频预测作为视觉规划"脉络中点名的早期代表，可视为 Cascaded WAM 思想的先声。其核心创新在于把策略学习重新表述为文本引导的视频生成问题——先用扩散模型生成符合指令的未来视频，再从生成的视频中抽取动作，证明了"先想象未来、再导出动作"的可行性。

1.3.3 引入世界建模带来的三重收益

将世界建模引入具身策略，带来的并非只是"多预测一个未来状态"那么简单，而是带来了三方面实质性的能力提升：

1. 更强的物理理解（stronger physical understanding）：通过显式预测环境演化，模型被迫学习物体 permanence、接触、遮挡、因果等物理常识，而不仅是视觉-动作的统计相关性；
2. 更好的跨环境泛化（improved generalization across novel environments）：具备"想象"能力的策略可以在新环境中通过预测未来状态来推断合理动作，而非死记硬背特定配置下的反应；
3. 能够利用缺乏动作标注的大规模人类视频数据（leverage large-scale human video data that lack action annotations）：这是尤为关键的一点——互联网与第一人称视频中蕴含着海量的物理与操作知识，但这些数据绝大多数没有机器人动作标签。WAM 通过"预测未来状态"这一自监督式的目标，可以从中汲取知识，从而大幅扩展具身策略学习可用的数据基础。

第三点尤其重要。长期以来，具身策略受困于机器人数据的稀缺（遥操作昂贵、仿真-真实差距大）；而人类视频近乎无限却"没有动作"。WAM 的范式恰好为打通这两者提供了一个自然的接口——这也解释了为何该方向会迅速成为研究热点。

经典论文：Universal Manipulation Interface: In-the-Wild Robot Teaching Without In-the-Wild Robots — 与WAM的关系及核心创新：UMI 是综述在"便携式人类演示"数据源脉络中的代表性工作，正是 WAM 借以利用大规模人类视频/演示的关键基础设施之一。其核心创新在于设计了一种手持式、与机器人本体解耦的低成本数据采集夹爪，使任何人都能"在野外"采集可供策略学习的高质量操作演示，极大拓宽了具身数据的获取边界。

1.4 本综述的定位与组织结构

综述自我定位为对世界动作模型图景的首次系统性、批判性分析。其目标有二：一方面为理解这一方法的设计空间（design space）提供概念框架（conceptual framework）；另一方面为进入这一快速演化领域的研究者提供实践指南（practical guide）。

综述的整体组织结构如图2所示，围绕"背景—架构—数据—评估"四条主线展开，并辅以定义与开放挑战两章作为理论锚点与未来展望。

具体而言，各章内容如下：

• 定义（Definition, Sec. 2）：给出世界动作模型的形式化定义，并将其与相关概念——视频策略（Video Policies）、动作条件世界模型（Action-Conditioned World Models）以及标准 VLA 模型——进行辨析，澄清当前文献中碎片化的术语边界。
• 背景（Background, Sec. 3）：从经典的基于模型的强化学习（model-based RL）一路追溯到现代基础模型方法，梳理世界建模与动作生成两条线索交织发展的脉络，将 WAM 置于更宏大的思想谱系之中。
• 架构（Architecture, Sec. 4）：将现有 WAM 方法归入 Cascaded 与 Joint 两大范式，并进一步按生成模态（generation modality）、条件机制（conditioning mechanism）与动作解码策略（action decoding strategy）进行细分，提供一个跨设计空间比较方法的统一框架。
• 训练数据集（Training Datasets, Sec. 5）：分析驱动 WAM 发展的四大数据来源——机器人遥操作（robot teleoperation）、便携式人类演示（portable human demonstrations）、仿真（simulation）以及互联网规模的第一人称视频（internet-scale egocentric video）——考察每一类数据的特性如何塑造所训练模型的能力。
• 评估（Evaluation, Sec. 6）：综合梳理新兴的评估图景，围绕视觉保真度（visual fidelity）、物理常识（physical commonsense）与动作合理性（action plausibility）三个维度组织，并指出当前评估协议在衡量 WAM 相关能力时尚存的缺口。
• 开放挑战（Open Challenges, Sec. 7）：以对该领域关键障碍与未来方向的讨论作结，勾勒通向更鲁棒、更具泛化能力的世界动作模型的路径。

1.4.1 Cascaded 与 Joint 两大范式概览

为便于读者快速建立整体印象，下表对本章涉及的两类 WAM 架构范式做一精简对比：

维度	Cascaded WAM（级联式）	Joint WAM（联合式）
形式化目标	$p(o^{\prime },a\mid o,l)=p(a\mid o^{\prime },o,l)p(o^{\prime }\mid o,l)$（显式因式分解）	直接建模 $p(o^{\prime },a\mid o,l)$（联合分布）
流程关系	先合成未来状态表征，再从中推导动作（解耦）	状态预测与动作生成在同一表征空间协同优化（耦合）
代表性技术路线	Explicit / Implicit 表征对齐	Autoregressive / Diffusion-based（再分 Unified Stream / Multi-Stream）
典型思路	视频/光流/点云预测作为视觉规划	自回归 token 或扩散去噪联合生成状态与动作
关键优势	模块化、可复用现成视频生成模型	端到端、想象与行动同源、共享表征

需要再次说明的是，这两类范式并非线性替代关系，而是并行的探索方向；后续章节（尤其是第4章"架构"）将在此基础上进一步展开。

1.5 与经典思想谱系的呼应

虽然 WAM 作为命名范式是新兴事物，但其思想根基深植于更早的研究脉络之中。综述在第3章"背景"中将系统梳理这条谱系，这里仅就引言中隐含的几条线索做一前瞻性铺垫，帮助读者理解 WAM 并非凭空出现。

其一，基于模型的强化学习（model-based RL）与世界模型传统。 从 PlaNet 到 Dreamer 系列，这一传统早已确立了"先在学到的世界模型里想象、再据此规划或学习策略"的基本范式。WAM 可被视作这一思想在基础模型时代的延伸与重塑：世界模型不再只是在低维隐空间里滚动展开、服务于单一任务的策略优化，而是与大规模视觉-语言表征和通用动作生成耦合，面向开放世界的通用具身能力。

经典论文：PlaNet: Learning Latent Dynamics for Planning from Pixels — 与WAM的关系及核心创新：PlaNet 是经典 model-based RL 世界模型脉络的奠基之作，综述在第3章背景部分将其作为 WAM 的思想前身之一。其核心创新在于提出循环状态空间模型（RSSM），在隐空间中建模随机与确定性动力学，并直接从像素学习以进行在线轨迹规划，确立了"在学到的世界模型中规划"的范式。

经典论文：Dreamer: Dream to Control — Learning Behaviors by Latent Imagination — 与WAM的关系及核心创新：Dreamer 是世界模型谱系中最具影响力的代表之一，是 WAM"先想象、后行动"思想的经典范例。其核心创新在于提出 actor-critic 的"隐式想象"（latent imagination）训练框架——在世界模型中展开想象轨迹并据此反向传播优化策略，使策略学习高效且可扩展，并衍生出 DreamerV2/V3 等一系列后续工作。

其二，视频生成与隐式预测表征的兴起。 随着扩散模型（如 LDM）与自回归/联合嵌入预测架构（如 V-JEPA、JEPA）的发展，"预测未来"已从低维隐空间扩展到高保真视频与表征层面；而以 Sora、Genie 为代表的生成式交互环境，则进一步推动了"可交互的世界模拟器"这一想象的工程化。这些进展为 WAM 提供了强大的预测骨干与数据基础，也使得"用生成式世界模型服务机器人"从设想变为可行。

经典论文：Latent Diffusion Models: High-Resolution Image Synthesis with Latent Diffusion Models — 与WAM的关系及核心创新：LDM 是 WAM 视频预测/状态生成骨干背后的关键技术基石之一。其核心创新在于将扩散过程从像素空间迁移到学得的潜在空间，在大幅降低计算成本的同时保持高保真生成，奠定了此后视频扩散模型（SVD 等）以及扩散式 WAM 的工程基础。

经典论文：V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video — 与WAM的关系及核心创新：V-JEPA 代表了"以特征预测学习视频表征"的隐式世界建模路线，与 WAM 中 latent dynamics modeling 一脉相承。其核心创新在于采用联合嵌入预测架构（JEPA）在视频的隐表征空间进行预测而非重建像素，从而以非生成式的方式获得富含运动与物理信息的视觉表征，可直接服务于下游策略学习。

经典论文：Genie: Generative Interactive Environments — 与WAM的关系及核心创新：Genie 是"可交互生成式世界模型"的标志性工作，是 WAM 在通用世界模拟器方向的想象力来源。其核心创新在于仅从大量无标注互联网视频出发，无需动作标签即可学到一种可通过隐动作（latent action）控制的交互式环境生成模型，证明了"从被动视频中学到可控世界动力学"的可行性——这与 WAM 利用无动作标注人类视频的诉求高度契合。

正是上述经典思想谱系（model-based RL 的"想象-规划"、视频生成的"预测未来"、JEPA 的"隐式表征预测"、交互式世界模拟器的"可控环境"）在基础模型时代的交汇，孕育出了 WAM 这一统一框架。

本章小结

本章梳理了综述引言的全部脉络，要点如下：

1. VLA 范式的成就与局限：VLA 模型（RT-2、OpenVLA、${\pi }_0$ 等）通过将动作生成形式化为条件 token 预测，成功把互联网级视觉-语言语义接地到运动行为，成为通用具身策略的主导范式；但其本质是"观测→动作"的反应式映射，不显式建模世界动力学，因而在需要预判未来状态的场景中泛化受限。

2. WAM 的定义与目标：世界动作模型（WAMs）是 unify 预测性状态建模与动作生成的具身基础模型，其优化目标升级为未来状态与动作的联合分布 $p(o^{\prime },a\mid o,l)$，而非仅动作分布 $p(a\mid o,l)$。

3. 两大架构范式：

   • Cascaded WAM：显式因式分解为 $p(a\mid o^{\prime },o,l)p(o^{\prime }\mid o,l)$，先合成未来状态表征再推导动作（解耦，沿 Explicit/Implicit 对齐演化）；
   • Joint WAM：直接建模联合分布，状态与动作在共享表征空间协同优化（耦合，沿 Autoregressive/Diffusion-based 演化，扩散路线再分 Unified/Multi-Stream）。
   • 二者是并行的架构探索方向，非时序替代关系。

4. 三重收益：引入世界建模带来更强物理理解、更好跨环境泛化，以及——尤为关键地——能够利用缺乏动作标注的大规模人类视频，从而大幅扩展具身策略的数据基础。

5. 综述结构：本综述提供对 WAM 图景的首次系统性批判分析，按"定义—背景—架构—训练数据—评估—开放挑战"六章组织，为理解设计空间提供概念框架、为进入该领域提供实践指南。

综上，从 VLA 到 WAM，本质上是把具身策略从"反应"推向"预测与想象"——这既是范式层面的演进，也是应对数据稀缺与泛化瓶颈的自然出路。后续章节将沿着这一脉络，逐一展开 WAM 的定义边界、思想谱系、架构细节、数据生态与评估方法。

---

第2章 定义与形式化：WAM究竟是什么

在进入综述庞杂的方法谱系之前，我们必须先回答一个看似简单、实则至关重要的问题：世界动作模型（World Action Model，WAM）究竟是什么？ 它和我们已经熟悉的视觉-语言-动作（Vision-Language-Action，VLA）模型有什么区别？和经典的世界模型（World Model，WM）又有什么不同？它与所谓视频动作模型（Video Action Model，VAM）、视频策略（Video Policy）等近义概念又该如何区分？

本章是整篇综述的概念基石。我们将沿着论文第 2 章的脉络，从概率视角下的具身智能任务出发，依次给出 VLA、WM、WAM 三者的形式化定义与对比，进而澄清 WAM 与相关概念的边界。理解了这一章，后续第 3–6 章的背景、架构、数据与评测分类法才会有意义。

2.1 问题设定：具身智能的 probabilistic 视角

为了给 WAM 建立一个严谨的基础，综述首先用概率语言刻画了具身智能任务。我们考虑一个与环境交互的具身智能体（embodied agent）。在每个时间步，智能体会接收到：

• 一条观测 $o\in O$：它可以是视觉输入（图像/视频）、本体感觉（proprioceptive）信号，以及其他任何感觉模态；
• 一条语言指令 $l\in L$：描述智能体应完成的任务或目标；
• 智能体据此产生动作 $a\in A$。

我们用 $o^{\prime }$ 表示下一时间步的观测。于是，整个具身控制问题可以围绕“给定 $(o,l)$，如何生成 $a$，以及 $a$ 又如何引发 $o^{\prime }$”这一因果链条来展开。

这一设定看似朴素，却恰恰是后续三种范式分野的起点：VLA 只关心 $a$，WM 只关心 $o^{\prime }$，而 WAM 同时关心两者。下面我们逐一展开。

2.2 基础范式：VLA、WM 与 WAM 的形式化

2.2.1 视觉-语言-动作模型（VLA）

VLA 模型是一类具身基础模型，它把机器人控制框架化为一个多模态序列建模任务。在这一范式下，智能体处理当前观测 $o$ 和语言指令 $l$，直接生成一串动作 token $a$。VLA 架构通常借助大语言模型（LLM）或视觉-语言模型（VLM）预训练得到的语义潜在空间，把感知输入直接映射到动作空间。

形式上，VLA 的学习目标定义为：给定多模态上下文条件下动作的条件概率：

$${\mathcal{L}}_{\text{VLA}}={\mathbb{E}}_{(o,l,a)\sim \mathcal{D}}\left[-\log p(a\mid o,l)\right]$$

可以看出，VLA 本质上是一个反应式（reactive）映射：观测进、动作出。它不显式建模“如果我执行这个动作，世界会怎样演化”，而是利用 LLM/VLM 的强语义先验，把语义理解能力蒸馏到动作预测上。这正是 VLA 擅长语义泛化、却难以理解物理因果的根源——它学的是 observation-to-action 的直接映射，而没有显式地建模物理世界在干预下如何演化。

经典论文：OpenVLA — 与WAM的关系及核心创新：OpenVLA 是开源 VLA 范式的代表作，将预训练 VLM 的语义空间直接映射到机器人动作 token，是 WAM 想要超越的“反应式 mapping”基线。其核心创新在于以完全开源的方式构建了一个可复现、可微调的通用 VLA 基座，并验证了大规模预训练语义先验对机器人控制的迁移价值。

2.2.2 世界模型（World Model，WM）

如果说 VLA 关心的是“做什么动作”，那么世界模型关心的则是“世界会如何变化”。综述将世界模型定义为预测性的状态转移函数，它内化了物理环境的因果动力学。WM 的功能角色是建模世界的正向动力学（forward-dynamics）：在前置状态 $o$ 和一组假想干预 $a$ 的条件下，模拟环境观测状态的演化 $o^{\prime }$。其形式化目标为：

$${\mathcal{L}}_{\text{WM}}={\mathbb{E}}_{(o,a,o^{\prime })\sim \mathcal{D}}\left[-\log p(o^{\prime }\mid o,a)\right]$$

在这一框架下，模型充当一个概率意义上的状态传播器：它给出“环境在特定动作下将如何变化”的表示。值得注意的是，WM 本身并不产出动作——它是一个“会想象的模拟器”，可以为策略学习、规划或评估提供预测信号，但要落地到机器人控制，还需要外接一个策略模块。

世界模型的研究脉络极为深厚，从经典的基于潜空间动力学的规划方法，到近年来的视频预测式世界模型，构成了 WAM 的重要技术母体。

经典论文：PlaNet (Learning Latent Dynamics for Planning from Pixels) — 与WAM的关系及核心创新：PlaNet 是世界模型家族的奠基性工作之一，奠定了“在潜空间中学习动力学并用于规划”的范式，是 WAM 中 world modeling 这一臂的直接思想来源。其核心创新在于提出循环状态空间模型（RSSM）与潜在空间中的轨迹规划，让智能体仅从像素就能学习可规划的环境动力学。

经典论文：Dreamer to Control — 与WAM的关系及核心创新：Dreamer 系列把世界模型与 actor-critic 策略学习深度耦合，是“用世界模型想象来训练动作”这一思想的标志性方法，构成了 WAM“预测+控制”耦合目标的先驱。其核心创新在于提出在学到的潜空间世界模型中“想象（imagination）”长程轨迹并据此反向传播训练策略，实现纯模型驱动的高效控制学习。

2.2.3 世界动作模型（WAM）：统一 world modeling 与 motor control

正是在 VLA 与 WM 的交汇处，综述定义了世界动作模型。WAM 是一类具身基础模型，它把环境动力学建模（world modeling）与运动控制（action generation）统一起来。与学习直接 observation-to-action 映射的标准 VLA 不同，WAM 预测物理环境的未来演化。

形式上，一个模型要被称为 WAM，必须同时满足两条核心判据：

1. 前向预测建模（Forward Predictive Modeling）：模型必须通过生成或利用未来状态 $o^{\prime }$ 的可量化表示来预测环境的物理演化。这种建模可以表现为显式的视觉预测（如像素级视频帧、稠密光流），也可以表现为隐式的物理表示（如物理感知的潜在空间）。
2. 耦合的动作生成（Coupled Action Generation）：模型必须通过严格对齐于预期未来状态 $o^{\prime }$ 来推导其运动指令 $a$。这种耦合可以表现为联合概率输出，也可以表现为在级联（cascaded）或统一（unified）的潜在架构中以策略为条件的形式。

形式化地，WAM 旨在统一框架下刻画未来状态与动作的联合分布或条件分布：

$${\mathcal{L}}_{\text{WAM}}={\mathbb{E}}_{(o,l,o^{\prime },a)\sim \mathcal{D}}\left[-\log p(o^{\prime },a\mid o,l)\right]$$

对比三个损失函数可以一目了然地看到三者的递进关系：

范式	学习目标	关心的输出	对物理演化的建模
VLA	$p(a\mid o,l)$	动作 $a$	无（反应式映射）
WM	$p(o^{\prime }\mid o,a)$	下一状态 $o^{\prime }$	有，但不产动作
WAM	$p(o^{\prime },a\mid o,l)$	状态 $o^{\prime }$ 与动作 $a$ 的联合	有，且与动作耦合

综述强调：WAM 之所以超越 observation-to-action 映射、走向联合的状态-动作预测，是因为它借此利用丰富的时空先验，从而获得更深层的物理理解与更强的零样本泛化能力。换言之，WAM 不只是“会动的 VLA”，也不只是“会控制的 WM”——它要求未来状态预测与动作生成在同一个目标下相互约束、互为监督。

上图（图 3）的左侧对比了 VLA、WAM、WM 三者的输入-输出形式：VLA 接收当前观测 $o$ 与语言 $l$、输出动作 $A$；WM 接收当前观测 $o$ 与动作 $A$、输出下一观测 $O_{t+1}$；而 WAM 同时接收 $o$ 与 $l$，联合输出动作 $A$ 与下一观测 $O_{t+1}$。右侧则描绘了 WAM 相对于 VAM、Video Policy 等概念的范围关系——这正是下一节要澄清的问题。

经典论文：UniPi (Learning Universal Policies via Text-Guided Video Generation) — 与WAM的关系及核心创新：UniPi 是“用视频生成来表达策略”的早期开创性工作，常被视为级联式 WAM（Cascaded WAM）的思想先驱。其核心创新在于把策略学习转化为文本引导的视频生成，再从生成的视觉未来中抽取动作，首次系统验证了“预测未来画面即可指导控制”这一 WAM 核心命题。

2.3 概念辨析：WAM 与相关概念的边界

在生成式机器人学（generative robotics）的文献中，“WAM”并非唯一被使用的术语。视频动作模型（VAM）、视频策略（Video Policy）、动作世界模型（AWM）等概念彼此交叠、容易混淆。综述在第 2.2 节专门做了辨析，以确保概念清晰。下面我们逐一展开。

2.3.1 WAM vs. 视频动作模型（VAM）

视频动作模型（Video Action Models，VAMs）通常指把视频预测与动作生成集成在一起的模型，典型做法是把动作与合成的视觉未来对齐。综述把 WAM 定义为一个更广义的、与模态无关的预测性智能体超集。

关键区别在于：VAM 特定地优化“让动作与视频帧合成对齐”，而 WAM 范式主张——视频只是建模世界的一种可能代理（proxy）。WAM 涵盖那些使用其他预测目标的模型，例如：

• 单帧图像的状态转移；
• 稠密点云（dense point clouds）；
• 触觉、力反馈等多感官模态。

“World”一词强调的是模型对底层物理规律与因果动力学的内化，而不是对像素级视频这一特定形式的承诺。换句话说，一个用点云或触觉信号来预测世界演化并据此生成动作的模型，同样是 WAM，但不一定是 VAM。VAM ⊂ WAM，而 WAM 向非视频模态敞开。

2.3.2 WAM vs. 视频策略（Video Policy）

视频策略（Video Policies）通常指按其结构传承（structural heritage）来定义的模型——它们使用生成式视频架构（如 Diffusion Transformer）作为骨干，以提取强时空表征。综述从两个维度来区分 WAM 与 Video Policy：

1. 结构传承（structural heritage）：与 WAM/VAM 的区分类似，Video Policy 在概念上与视频生成骨干（如 Video Diffusion Transformer）绑定；而 WAM 是骨干无关的（backbone-agnostic），可通过任何能够在多种模态上合成状态的架构来实现。
2. 预测承诺（predictive commitment）：如果一个模型仅仅是继承了视频模型的预训练时空表征，把观测直接映射到动作（即建模 $p(a\mid o)$），那它只能算视频策略。而 WAM 要求一种主动的预测承诺——它必须被一个世界建模目标监督，其中下一状态 $o^{\prime }$ 的合成是模型推理与输出的显式组成部分，而不仅仅是骨干中某个隐式的特征。

换言之：视频策略可以“借用”视频模型的表征能力却不真正预测未来；WAM 则必须“承诺”去预测未来状态，并把这种预测作为推理链路的一环。这一区分把“是否显式预测 $o^{\prime }$”上升为 WAM 的判定性特征。

2.3.3 WAM vs. 动作世界模型（AWM）

动作世界模型（Action World Model，AWM）是早期文献中用来描述“把世界建模与动作生成整合起来”的术语，其形式化目标 $p(o^{\prime },a\mid o,l)$ 与 WAM 在功能上完全一致。

那么，为什么综述选择“WAM”而非“AWM”？这并非功能差异，而是一次具身智能层级（hierarchy）上的战略性再定位：

• 在“AWM”这一表述中，中心名词是“World Model”，它把整个系统刻画成一个增强型模拟器（augmented simulator）——世界模型是主体，动作只是附加。
• “World Action Model”则把系统重新定位为一种首要的 Agent 类别，其中“World”（预测性物理）与“Action”（运动控制）是地位对等的两个组件。

综述指出，这一命名确立了 WAM 作为 VLA 谱系的直接概念继承者，强调其作为机器人学完整基础模型（complete foundation model for robotics）的身份。也就是说，WAM 不是“给世界模型加上动作”，而是“把动作与世界预测并立为一等公民”的新一代具身基础模型范式。

下表汇总了四个概念的关键区分：

概念	预测目标	骨干要求	是否必须显式预测 $o^{\prime }$	定位
VAM	视频+动作对齐	通常视频生成	是（但限定为视频形式）	视频对齐型预测智能体
Video Policy	$p(a\mid o)$（可仅借表征）	视频生成骨干	否（可隐式）	结构传承型策略
AWM	$p(o^{\prime },a\mid o,l)$	—	是	增强型模拟器（名词=World Model）
WAM	$p(o^{\prime },a\mid o,l)$	骨干无关	是（显式）	首要 Agent（World 与 Action 对等）

2.4 从定义看综述的全景分类

WAM 的这一定义直接催生了综述后续的分类法。既然 WAM 必须“显式预测未来状态”且“动作与未来状态耦合”，那么按照耦合方式的不同，自然衍生出两条主架构路线（详见第 4 章）：

• 级联式 WAM（Cascaded WAM）：未来状态预测与动作生成以级联方式组织，可进一步分为显式（explicit，如先生成视频/流再解码动作）与隐式（implicit，如在潜在空间中以策略为条件）。
• 联合式 WAM（Joint WAM）：未来状态与动作在同一目标下联合输出，可进一步分为自回归（autoregression）与基于扩散（diffusion-based）两类。

同时，按预测目标的模态，WAM 既可以是像素级视频/帧预测，也可以是光流、点云、潜空间，乃至触觉-力等多模态预测——这正是 WAM 相对 VAM“模态无关”优势的体现。

此外，世界模型这条技术脉络还可按其在具身智能中的角色细分（见图 2 路线图）：既可作为“为 VLA 服务”的组件（用于模仿学习、强化学习、评估），也可独立作为语言条件的具身世界模型。这些细分共同构成了综述第 3–6 章的四维分类骨架：背景（Sec. 3）、架构（Sec. 4）、训练数据（Sec. 5）、评测协议（Sec. 6）。

经典论文：Genie: Generative Interactive Environments — 与WAM的关系及核心创新：Genie 是“可控的生成式交互环境”的代表性世界模型，体现了 WAM 中 world modeling 臂在隐式潜空间、无需动作标签即可学习可控动力学的方向。其核心创新在于仅从大量无标注视频中学到一个潜在动作空间与可交互的环境动力学模型，让智能体能在学到的世界模型中进行想象与探索。

经典论文：Latent Diffusion Models (High-Resolution Image Synthesis with LDMs) — 与WAM的关系及核心创新：LDM 奠定了“在潜空间中进行扩散生成”的范式，是大量显式/隐式 WAM（尤其是基于扩散的 Joint WAM）所采用的视频/状态合成骨干的技术基础。其核心创新在于将扩散过程从像素空间移至压缩的潜在空间，在大幅降低计算开销的同时保持高保真生成质量，使高维视觉状态预测在工程上变得可行。

本章小结

本章为 WAM 建立了严格的概念与形式化基础，核心要点如下：

1. 统一框架：WAM 是一类具身基础模型，把环境动力学建模（world modeling）与运动控制（action generation）统一在同一目标 ${\mathcal{L}}_{\text{WAM}}=\mathbb{E}[-\log p(o^{\prime },a\mid o,l)]$ 之下，预测未来状态 $o^{\prime }$ 与生成动作 $a$ 是对等的两个组件。
2. 两条判据：一个模型要被称为 WAM，必须同时满足“前向预测建模”与“耦合的动作生成”——前者要求显式或隐式地预测未来状态，后者要求动作严格对齐于所预测的未来状态。
3. 与 VLA、WM 的递进关系：VLA 只学 $p(a\mid o,l)$，是反应式映射；WM 只学 $p(o^{\prime }\mid o,a)$，是状态传播器但不产动作；WAM 同时学两者并让它们相互约束，从而利用丰富时空先验获得更深物理理解与更强零样本泛化。
4. 概念辨析：WAM 是模态无关、骨干无关的超集——VAM 限定于视频形式，Video Policy 依赖视频骨干且不强制显式预测 $o^{\prime }$，AWM 虽功能等价但把系统定位为“增强型模拟器”。WAM 的命名将系统重新定位为首要的 Agent 类别，确立其作为 VLA 谱系直接继承者的身份。
5. 定义驱动分类：上述定义直接催生了综述后续的架构分类法（级联式 vs. 联合式；显式 vs. 隐式；自回归 vs. 扩散）以及背景、数据、评测的三维骨架，为第 3–6 章的展开奠定概念基石。

理解了 WAM “预测未来状态 + 耦合动作生成”这一本质，我们便能带着统一的视角，进入后续章节对这一新兴范式技术全景的考察。

---

第3章 VLA与世界模型：基础与早期融合

世界动作模型（World Action Models, WAMs）这一新兴范式，并非凭空出现，而是两条长期独立演进的研究线索——视觉-语言-动作模型（Vision-Language-Action Models, VLA）与世界模型（World Models）——在能力边界上自然交汇的产物。本章将系统梳理这两大基础范式的定义、分类法与核心方法，并回顾它们之间最早期的融合尝试。理解这些基础，是理解后续 WAM 如何将"预测性状态建模"与"动作生成"统一到一个联合分布之中的前提。

---

3.1 视觉-语言-动作模型（VLA）

3.1.1 从窄任务到语言条件：早期的三种融合范式

传统的模仿学习（imitation learning）长期受困于"窄任务"设计：模型往往只针对孤立技能进行训练，这严重限制了其在开放世界环境中的泛化能力。为突破这一瓶颈，研究重心逐渐转向语言条件策略（language-conditioned policies）——即让模型能够解释多模态的任务描述，并据此计算出控制动作。

早期的 VLA 架构主要探索了三种将视觉输入与语言输入相融合的范式：

1. 特征调制（Feature Modulation）：利用基于 FiLM（Feature-wise Linear Modulation）的层，将视觉特征依据语言嵌入进行条件化调制 [118, 119]。
2. 交叉注意力机制（Cross-attention Mechanisms）：使任务提示（task prompt）与视觉 token 之间能够进行动态交互 [1, 214]。
3. 简单拼接（Simple Concatenation）：将多模态 token 展平为统一的序列，进行联合处理 [214, 246]。

这些工作不仅展示了开放词汇操作（open-vocabulary manipulation）的潜力 [247]，还引入了一些至关重要的技术，例如动作分块（Action Chunking）与时间集成（Temporal Ensembling），用以改善运动的平滑性与时间一致性 [248, 249]。

3.1.2 LLM 浪潮：知识先验与大规模 Scaling

大语言模型（LLM）的成功催生了 VLA 研究的第二波浪潮，其核心特征是强调知识先验（Knowledge Priors）与大规模扩展（Large-scale Scaling）。通过继承预训练大型视觉-语言模型（Large Vision-Language Models, LVLMs）的权重，这些智能体能够利用互联网规模的数据，实现复杂的推理与语义理解 [1, 2]。

在方法论层面，这一时代以两条并行的**动作生成头（action generation heads）**为特征：

• 自回归 token 化（Autoregressive Tokenization）：将动作视为离散的语言学 token，逐个顺序生成 [1, 2, 250, 251]。
• 基于扩散的合成（Diffusion-based Synthesis）：在 VLM 主干上挂接一个生成式"动作专家"（generative action expert），以产生连续的、多模态的动作分布 [3, 252–254]。

这种二元性使得模型能够在高层逻辑规划与底层物理精度之间取得平衡，并从单臂任务扩展到复杂的双臂操作。

经典论文：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — 与WAM的关系及核心创新：RT-2 是将 VLM 权重直接迁移到机器人控制的奠基之作，开创了"动作即 token"的自回归 VLA 范式，是本节所述"知识先验 + 大规模 scaling"浪潮的起点。

经典论文：OpenVLA: An Open-Source Vision-Language-Action Model — 与WAM的关系及核心创新：OpenVLA 提供了开源、可复现的 VLA 基线，证明继承预训练 LVLM 权重可显著提升策略泛化，是后续 WAM 工作常用的对比与微调起点。

经典论文：UniPi: Learning Universal Policies via Text-Guided Video Generation — 与WAM的关系及核心创新：UniPi 把"策略"重新表述为"文本引导的视频生成"，将动作隐含在生成的视觉未来之中，是 VLA 与世界模型早期融合的标志性工作，为 WAM 的"联合状态-动作分布"思想埋下伏笔。

3.1.3 从"视觉-语言"到"多模态物理交互"

超越了传统的"图像到动作"流水线，VLA 的定义近期进一步扩展，纳入了更丰富的具身观测。为增强模型对物理世界的感知与交互能力，研究者开始引入多样化的信息源 [132, 135]，包括：

• 融合 3D 几何信息以强化空间表征 [255]；
• 利用 深度感知以提升操作精度 [256]；
• 融合 力/触觉反馈以实现细粒度的力控装配任务 [257, 258]。

这种多模态输入的融合，正推动 VLA 模型从简单的"视觉-语言"驱动系统，演进为综合性的"多模态物理交互"基础模型。然而，综述明确指出其根本局限：这些模型本质上仍是反应式映射（reactive mapping），并未捕获底层的世界动力学（world dynamics），因此在操作泛化上常常力不从心——这正是世界模型被引入 VLA 体系的核心动机。

---

3.2 世界模型（World Models）

3.2.0 定义与分类

世界模型的定义长期以来存在相当大的争议，不同工作采用了不同的定义 [259–264]。一个被广泛接受的共识是：世界模型是一种内部表征（internal representation），它建模环境动力学与动作的效果。基于这种表征，世界模型可以预测动作的后果，从而实现仿真、决策与规划。

依据条件（conditioning）方式的不同，综述将世界模型划分为两大类：

• 动作条件世界模型（Action-conditioned World Models）（3.2.1 节）；
• 语言条件世界模型（Language-conditioned World Models）（3.2.2 节）。

此外，综述还专门讨论了面向具身环境特化的具身世界模型（Embodied World Model）（3.2.3 节）。

---

3.2.1 动作条件世界模型

动作条件世界模型描述环境如何响应智能体的动作而演化。这里的"动作"指智能体发出的、可直接干预环境并驱动状态随时间转移的可执行控制信号。给定当前状态与动作，模型预测未来的状态或观测，从而捕获动作对环境动力学的因果效应。形式化地，该过程可写为：

$$P(o^{\prime }\mid o,a),$$

其中下一个观测状态 $o^{\prime }$ 基于当前观测状态 $o$ 与动作 $a$ 进行预测。

依据环境动力学被建模与预测的空间不同，动作条件世界模型又分为两条路线：**显式世界模型（Explicit World Models）**直接预测像素或视频帧等未来观测；**隐式世界模型（Implicit World Models）**则在潜在表征空间中建模环境动力学。

显式像素级预测（Explicit Pixel-level Prediction）

早期的像素级预测模型直接在像素空间中逐帧预测未来。代表性工作包括：

• ACVP [265] 设计了"编码-变换-解码"网络架构，是最早在动作条件下进行并评估长期像素级视频预测的工作之一。
• CDNA [266] 提出动作条件视频预测模型，通过预测变换分布的机制显式建模像素运动，从而可以从先前帧"搬移"像素来合成未来帧，而非从零重建外观。
• Deep Visual Foresight [267] 学习动作条件视频预测模型，通过隐式随机像素流表征视觉动力学；它生成空间变化的流算子与掩码来跨时间推进像素，无需光流、物体身份、位姿或物理状态的显式监督。
• SV2P [268] 进一步将随机变分潜变量引入视频预测，通过对潜变量采样生成多条合理的未来帧序列——这在真实世界与动作条件下尤为重要，因为模糊的交互可能导向不同结果。
• MCnet [269] 通过非对称双流编码器分解运动与内容，将预测任务简化为基于识别出的运动特征变换现有内容。
• ContextVP [270] 利用并行多维 LSTM（PMD）单元在每一层从所有方向聚合上下文以消除像素预测的盲区，并结合加权上下文混合块学习各方向的重要性。

随着生成式建模不断进步，日益强大的预训练视频生成模型相继涌现 [271–277]。在此基础上，许多近期工作直接利用这类预训练生成模型在像素空间预测未来视觉观测，构建基于视频的世界模型。根据生成方式，它们又分为两个范式：自回归视频世界模型与基于扩散的视频世界模型。

自回归视频世界模型将视频帧 token 化为离散视觉 token，训练一个动力学模型在历史观测条件下自回归地预测未来 token。基于具备 GPT 式架构的预训练视频模型 VideoGPT [271]，iVideoGPT [23] 设计了一个可扩展的自回归 Transformer 框架，将视觉观测、动作、奖励等多模态信号整合为一段 token 序列，通过下一 token 预测实现智能体-环境交互，使其可作为功能完整的世界模型。Genie [278] 进一步发展交互式世界模型，引入潜在动作模型（latent action model）从无标注视频片段中推断动作变量，并用其训练预测未来视觉 token 的动力学模型——这使得世界模型可在大规模互联网视频上训练而无需动作标注，大幅提升了训练可扩展性。自回归形式可生成任意长度的帧序列，适合交互式世界建模，但存在严重的误差累积，且难以建模高度多模态分布。

经典论文：Genie: Generative Interactive Environments — 与WAM的关系及核心创新：Genie 引入潜在动作模型，从无标注互联网视频中反推动作变量并训练动力学模型，使世界模型摆脱了对动作标注的依赖。这一"无监督动作"思想是 WAM 利用海量互联网视频数据的关键前提。

经典论文：iVideoGPT: Interactive VideoGPTs are Scalable World Models — 与WAM的关系及核心创新：iVideoGPT 将观测、动作、奖励统一为 token 序列做下一 token 预测，把自回归视频模型改造为可交互、可奖励的完整世界模型，是 WAM"统一状态与动作"思路的重要前身。

基于扩散的视频世界模型显式地对可能未来观测的分布进行建模，通过对噪声时空信号迭代去噪，生成条件于数据或提示的连贯序列。它学习的不是单一确定性未来，而是未来轨迹的条件分布，因此能捕获多模态环境动力学。此类方法在文生视频上取得显著进展 [275, 276]。Diffusion World Model [279] 将世界建模表述为对未来视频帧的条件扩散；通过迭代去噪生成未来观测，缓解了逐步动力学预测中的误差累积。后续工作进一步发展了该范式 [20, 24, 25, 280–284]。得益于迭代去噪机制，基于扩散的视频模型在需要长程一致性或高质量生成输出的任务上通常表现更佳，但计算开销大。

隐式潜在空间动力学模型（Implicit Latent-space Dynamics Models）

为克服像素级建模的低效，一条主要工作线专注于在紧凑的潜在空间中学习动力学：将观测编码为潜在状态，并在该空间学习转移函数。

循环状态空间模型（RSSM）。 一些方法采用循环架构预测潜在表征随时间的演化。David Ha 与 Jürgen Schmidhuber [263, 285] 提出了一种无监督训练的生成式 RNN 来建模标准 RL 环境。受此启发，PlaNet [26] 引入了循环状态空间模型（Recurrent State-Space Model, RSSM），结合确定性成分与随机性成分以同时捕获可预测的动力学与不确定性，证明了在潜在空间学习动力学的有效性。Plan2Explore [286] 将 RSSM 框架扩展到自监督探索：利用潜在空间中的规划去追求期望的未来新颖性，并以一组潜在动力学预测器之间的"不一致"作为内在奖励。Dreamer 系列及若干后续工作 [40–42, 44, 45, 287–292] 进一步扩展该框架，使规划完全在潜在空间中进行，以更强的样本效率取得优异性能。LEXA [293] 则利用 RSSM 在"潜在想象（latent imagination）"中训练探索者与达成者策略，用于无监督的目标条件强化学习。

经典论文：PlaNet: Learning Latent Dynamics for Planning from Pixels — 与WAM的关系及核心创新：PlaNet 提出 RSSM，将确定性循环与随机潜变量结合，奠定"在潜在空间学习动力学并规划"的范式，是隐式世界模型的奠基之作，也是 Dreamer 系列的直接前身。

经典论文：Dreamer: Dream to Control — Learning Behaviors by Latent Imagination — 与WAM的关系及核心创新：Dreamer 把"在潜在空间想象未来并在想象中反向传播训练策略"做到端到端可用，奠定了 model-based RL 在机器人上的可行性，其后续系列（DreamerV2/V3）至今是 WAM 评测与基线的重要参照。

Transformer 状态空间模型（TSSM）。 基于 RSSM 的世界模型可能继承 RNN 的固有局限。为使世界模型受益于 Transformer 的进展 [294]，TransDreamer [27] 引入 Transformer 状态空间模型（TSSM），用 Transformer 来预测动力学。TransDreamer 及其后续工作 [295–298] 表明，基于 Transformer 的潜序列建模在世界模型中能更好地建模长程依赖与推理，性能优于 Dreamer。

预测式表征学习（Predictive Representation Learning）。 这一路线不再重建观测或建模完整动力学，而是聚焦于建模缺失或未来观测的潜在嵌入。JEPA（Joint-Embedding Predictive Architecture）[299] 提供了一个在抽象嵌入空间中学习预测式表征的通用范式：它不重建原始输入，而是从上下文信息预测目标嵌入，鼓励模型捕获高层、可预测的结构，同时抽象掉低层细节。其一个实例化是 I-JEPA [300]，通过从同一图像内的单一上下文块预测多个目标块的潜在表征来学习图像表征。MC-JEPA [301] 将其扩展到运动感知的视觉表征学习，在共享编码器内联合学习光流与内容特征。V-JEPA 2 [302] 将 JEPA 范式扩展到基于视频的世界建模：通过预测未来潜在嵌入而非重建像素，学习更抽象、更可泛化的环境表征，且重建开销显著降低。进一步走向具身控制，LeWorldModel [303] 提出从原始像素端到端稳定训练的 JEPA 用于潜在世界建模，用单一高斯分布正则项（SIGReg）替代复杂的多项正则化目标以防止表征坍塌，并支持连续控制任务的高效潜在空间规划。除视觉外，A-JEPA [304] 将联合嵌入预测应用于音频频谱图。这一预测式表征学习视角还启发了后续改进 JEPA 式预测目标 [305, 306] 并将范式扩展到更广的具身与视觉-语言场景 [92, 307–309]。

经典论文：V-JEPA 2: Self-Supervised Video Model Evaluation and Improvement — 与WAM的关系及核心创新：V-JEPA 2 把 JEPA 的"预测嵌入而非重建像素"思想迁移到视频世界建模，提供了抽象、可泛化且低成本的环境表征，是后续 WAM 用作预训练世界表征与奖励塑形（如 SRPO）的重要基石。

经典论文：I-JEPA: Joint-Embedding Predictive Architecture — 与WAM的关系及核心创新：I-JEPA 在图像级验证了"预测潜在嵌入"的自监督范式，为视频级 V-JEPA 及具身世界的潜在表征学习提供了方法论源头。

---

3.2.2 语言条件世界模型

与基于低层控制信号预测未来状态的动作条件世界模型不同，语言条件世界模型将语言作为一种更高层、更抽象的条件形式。语言并不指定精确的动作序列，而是提供关于期望场景、事件或演化过程的语义引导，使模型生成与文本或多模态指令一致的未来。形式化地：

$$P(o^{\prime }\mid o,l),$$

其中 $l$ 表示语言条件。

在此范式下，语言条件视频基础模型已成为世界模型最突出的实现之一。通过从大规模视频-文本对中学习，这些模型获得了关于物体、场景、物理交互、相机运动与时序动力学的丰富先验，从而能从高层语义描述生成合理的视觉未来。综述按照技术演进脉络组织讨论：从早期基于 GAN 的视频生成器，到基于扩散与基于 Transformer 的视频基础模型。

• GAN 时代：早期视频基础模型多为 GAN 式，如 MoCoGAN [29]、TGAN [310]、DVD-GAN [311]。
• U-Net 扩散时代：早期扩散式视频基础模型建立在原本为二维图像生成设计的 U-Net [30] 架构之上，通过在标准 2D U-Net 中引入专门的时间层来实现时间连贯。先驱工作如 VDM [275] 直接将 2D 卷积核扩展为 3D 卷积核，把视频序列作为统一时空块处理；另一些工作则借助跨帧注意力块在帧间共享信息（如 Text2Video-Zero [312]、AnimateDiff [313]）。
• ViT 时代：后续工作采用视觉 Transformer（ViT）[314] 作为更灵活的视频扩散主干。Sora [315]、Latte [31] 等模型将视频数据视为时空 patch 序列，从而比固定网格 U-Net 更好地处理可变分辨率与时长，并受益于 Transformer 的可扩展性。
• 潜空间扩散：在 RGB 空间逐像素扩散去噪计算昂贵。LDM [316] 采用 VAE 将图像从像素空间压缩到潜空间，再在该紧凑表征内去噪。受此启发，VideoGPT [271] 利用 3D-VQVAE 学习视频生成的离散潜表征，后续工作进一步发展了该范式 [31, 273, 274, 317–319]。

经典论文：Latent Diffusion Models (LDM) — 与WAM的关系及核心创新：LDM 通过 VAE 将扩散去噪从像素空间搬到潜空间，大幅降低计算成本，几乎奠定了后续所有视频世界模型与视频条件 VLA 的架构基础。

随着视频基础模型设计的成熟，涌现出一批高性能模型。开源方面，Wan [32] 基于 DiT 范式并结合 Flow Matching 框架，在视频生成、编辑、实时合成与音视频同步等应用上表现强劲，并衍生出面向角色动画 [320] 与运动控制 [321] 的扩展。闭源方面，许多在互联网规模数据上训练的视频基础模型展现出丰富的世界知识与强预测能力，可作为强大的多模态世界模型，代表包括 OpenAI 的 Sora 2 [33]、快手的 Kling 3 [322]、Google 的 Veo 3 [323]、Runway 的 Gen-4 [324]、Pika Labs 的 Pika 2.2 [325]。

凭借强大的先验世界知识与语义理解能力，语言条件与多模态世界模型在数据合成与任务规划等应用上展现出显著潜力。

经典论文：Wan: Open and Advanced Large-Scale Video Generative Models — 与WAM的关系及核心创新：Wan 是开源的高性能 DiT+Flow Matching 视频基础模型，既可作为多模态世界模型，也为社区 WAM 研究提供了可微调的强大视频先验。

---

3.2.3 具身世界模型（Embodied World Model）

具身环境要求模型捕获物理世界动力学，并预判世界如何响应智能体交互。这种预测未来状态的能力，对于具身场景中的仿真、规划与数据合成至关重要。由于世界模型在观测与动作条件下预测环境演化，它为具身环境建模提供了天然框架。许多工作致力于提升世界模型在具身场景下的预测精度、物理感知与动力学知识，目标是生成更真实的机器人演示并支撑具身智能。

从人类操作视频/纯视频学习物理动力学。 互联网规模的无标注视频蕴含丰富的物理动力学信息。Genie [278] 引入潜在动作模型，使世界模型可仅用互联网视频训练。SWIM [34] 基于 Dreamer [26, 40, 41] 架构，从人类操作视频中提取抓取点与运动轨迹，以缓解人与机器人之间的显著形态学鸿沟，从而从人类运动视频学习机器人操作动力学。DreamDojo [35] 将帧间运动编码为紧凑向量以引入连续潜在动作，实现与具体形态无关的动作表征，并完成跨形态的知识迁移。DexWM [326] 从第一人称视频中提取 3D 手部关键点来表示灵巧动作，采用手部一致性损失捕获细粒度的手指-物体交互，实现到真实灵巧操作的零样本迁移。

提升生成机器人演示的质量。 多个工作从零样本生成、视频-指令对齐、多视角一致性、物理感知等互补方向展开。RoboDreamer [36] 利用自然语言固有的组合性，将视频生成分解为对多个底层基元的条件控制，构成具备强零样本泛化、可灵活组合多模态指令的组合式世界模型。IRASim [327] 引入帧级动作条件模块，将每个动作向量注入 Transformer 块的空间注意力层，使机器人动作对生成视频内容施加更精确控制。MiLA [328] 采用"由粗到（再）精"的分治策略，结合联合去噪校正流与时间渐进式去噪调度，在保持多视角空间对齐的同时缓解长程生成中的误差累积与动态失真。Ctrl-World [38] 在空间 Transformer 中沿 token 维拼接多相机图像，实现跨视角联合预测；许多工作还精心设计了训练范式与数据预处理以支持多视角生成 [25, 60, 77, 329–331]。在物理感知方面，RoboScape [37] 通过自适应关键点动力学学习（结合动态关键点采样与轨迹跟踪）改进物理感知建模，并引入双分支协同自回归 Transformer 协同生成 RGB 与深度流。WoW [332] 提出 SOPHIA 自优化框架，由视觉-语言评论者评估生成视频并引导提示精炼，以提升物理合理性与因果一致性；其 Flow-Mask 逆动力学模型将预测的视觉转移映射为可执行的末端执行器动作，闭合"想象到动作"的回路。

拓展世界模型的能力边界。 VT-WM（Visuo-Tactile World Models） [333] 将触觉模态引入具身世界建模，用 Sparsh-X 模型将触觉信息编码为触觉 token，再与视觉 token 沿空间维拼接。PointWorld [334] 在 3D 点流表征下统一环境状态与机器人动作，通过在大规模真实与仿真数据上扩展训练，构建出可跨多种机器人操作任务泛化、支持实时推理且可直接与模型预测控制（MPC）集成的通用 3D 世界模型。

---

3.3 面向 VLA 的世界模型

世界模型能够建模环境在动作、语言指令或多模态上下文下如何演化，因此为增强 VLA 系统提供了关键机制——使其超越从静态数据集直接学习策略。世界模型使 VLA 智能体能够推理未来观测、生成想象轨迹、估计任务结果，并在真实世界执行前评估策略行为。这一能力对机器人学习尤为关键：真实世界数据采集昂贵、物理交互存在潜在不安全、且大规模策略评估难以开展。

综述从两个互补视角讨论世界模型对 VLA 的贡献：学习与评估。在学习方面，世界模型可增强模仿学习、支撑基于模型的强化学习，并从预测的未来中提供奖励信号；在评估方面，它们充当数据驱动的仿真器，支持可扩展、可复现且安全感知的 VLA 策略测试。

图4 世界模型服务于 VLA 学习与评估的总体示意。世界模型可(a)通过生成或过滤训练轨迹支撑模仿学习，(b)通过想象交互与奖励引导的策略优化支撑强化学习，©从所学动力学或未来结果中产生奖励信号支撑奖励建模，(d)作为数据驱动的仿真器支撑虚拟 rollout 与测试。图中 $\mathcal{T}$ 表示 rollout 轨迹。

3.3.1 面向学习的世界模型

模仿学习（IL）。 IL 是 VLA 的主要训练范式之一，通过模仿专家演示来学习机器人策略，但其有效性受限于专家数据的数量与多样性。为此，大量研究利用具身世界模型生成多样化训练数据。DREMA [39] 将以物体为中心的高斯泼溅（Gaussian Splatting）与物理仿真器结合，构建组合式操作世界模型，使机器人能通过等变变换想象新颖的物体配置并生成多样演示，在真实机器人上实现一次性策略学习。Ctrl-World [38] 通过在想象中实现有效学习显著增强 VLA：它为复杂任务合成成功轨迹并用于监督微调，使 $\pi 0.5$-DROID [253] 策略在下游任务上的成功率提升 44.7%。RoboScape [37] 表明，在其合成数据上训练的 $\pi 0$ [3]、Diffusion Policy [335] 等策略，可取得与真实世界演示训练相当的性能。

强化学习（RL）。 RL 是 VLA 策略优化的重要范式，但常受困于真实世界部署的高成本与高风险、有效奖励函数设计的困难，以及仿真环境中可靠的 sim-to-real 迁移挑战。世界模型通过预测未来状态来建模环境动力学，同时提供具备世界理解与跨模态转换能力的结构化环境表征——这些性质使其能够支撑安全且可扩展的策略学习、隐式奖励估计并提升 sim-to-real 鲁棒性。因此，世界模型日益被用于在基于模型的 RL 中支撑策略学习。

作为替代环境（Surrogate Environments）的世界模型。 许多研究将世界模型用作替代环境以支撑 RL：智能体在所学世界模型内进行想象 rollout，再用任务特定奖励函数或 rollout 级一致性目标计算奖励。Dreamer 系列 [40–42, 44, 45] 将 PlaNet [26] 引入的 RSSM 从规划扩展到策略学习，证明了 model-based RL 在虚拟环境中的有效性。在具备像素级生成能力的预训练视频生成世界模型基础上，若干工作尝试将世界模型用作 RL 中的环境 [43, 46, 48, 49, 52–55, 336, 337]：将策略生成的动作与当前观测输入世界模型预测未来观测，再用生成观测训练策略。另一条线 [50, 51, 57] 利用世界模型生成的轨迹并测量其与目标未来状态的一致性，以此信号引导策略学习。

用于奖励建模的世界模型。 除充当策略学习的仿真器外，近期一些工作探索与奖励建模更直接耦合的世界模型，使奖励信号从所学生成表征或联合建模的环境动力学中导出，而非仅依赖外部指定的奖励函数。一条线从预训练生成式世界模型直接导出奖励：VIPER [56] 利用预训练视频预测模型评估观测轨迹与成功行为所学动力学之间的兼容性，将其作为无动作奖励用于 RL。Diffusion Reward [58] 从专家视频经条件视频扩散学到的视频生成分布的条件熵中导出奖励信号。GenReward [59] 利用预训练视频扩散模型，通过测量智能体观测与生成目标视频之间的潜在对齐来提供目标驱动奖励。SRPO [338] 利用 V-JEPA 2 的潜空间作为预训练世界表征进行奖励塑形：将成功与失败轨迹编码到潜在世界空间并测量行为相似度，对失败 rollout 赋予渐进式奖励，为 VLA-RL 提供更稠密的监督并缓解奖励稀疏性，且无需额外专家演示或人工设计的奖励函数。另一条线将奖励预测直接整合进世界模型，例如 RoboScape-R [47] 联合建模未来观测与奖励，使所学世界模型能在想象 rollout 中生成奖励信号，从而为 RL 提供内生奖励机制。

3.3.2 面向评估的世界模型

在物理系统上评估机器人策略往往耗时、耗资源、不安全且不可复现。常见的替代方案是在人工设计的仿真器（如 IsaacGym [339]、MuJoCo [340]）中评估，但这些仿真器常难以捕获真实世界环境的复杂性与多变性，导致显著的 sim-to-real 鸿沟。

通过直接从数据学习环境动力学，世界模型可构建数据驱动的仿真环境，更忠实地反映真实世界的复杂性与多变性。这通过支持大规模的完全虚拟策略测试，减少了对昂贵且不安全的物理评估的依赖；其闭环 rollout 能力支撑一致且可复现的评估协议，缓解真实世界实验的不可复现问题；此外，通过将仿真锚定于真实数据分布，世界模型能更好地弥合 sim-to-real 鸿沟，在部署前提供更可靠的策略性能估计。

常见做法是在想象环境中 rollout 策略并预测其后果。Ctrl-World [38] 通过帧级动作条件将动作信号注入每一帧，支撑策略与仿真器之间的闭环交互以进行策略评估。Veo Robotics [60] 利用动作条件视频生成模型作为世界仿真器，在不进行真实世界执行的情况下评估机器人策略；它还利用生成式图像编辑合成分布外场景以进行泛化测试，并通过模拟安全关键场景进行红队测试，所有预测均对照大量真实世界评估加以验证。一些工作还探索增强世界模型仿真器内的交互性与人在回路控制：Interactive World Simulator [61] 通过构建实时遥操作界面使用户能与世界仿真器交互，构建出更全面的仿真环境。许多类似工作也在提升评估的质量、效率与灵活性 [62–64]。

为便于概览，下表汇总了世界模型服务于 VLA 的四类功能及其代表方法：

功能类别	世界模型所扮演角色	代表方法
(a) 模仿学习	生成/过滤训练轨迹，扩充专家数据	DREMA [39], Ctrl-World [38], RoboScape [37]
(b) 强化学习	作为替代环境进行想象 rollout 与策略优化	Dreamer 系列 [40–45], 基于 VM 的 RL [43,46,48,49,52–55]
© 奖励建模	从所学动力学/生成表征导出奖励信号	VIPER [56], Diffusion Reward [58], GenReward [59], SRPO [338], RoboScape-R [47]
(d) 策略评估	数据驱动仿真器，支持闭环虚拟 rollout	Ctrl-World [38], Veo Robotics [60], Interactive World Simulator [61]

---

本章小结

本章系统梳理了 WAM 范式的两大基石——VLA 与世界模型——及其早期融合。

• VLA 方面：从早期基于 FiLM 调制、交叉注意力与简单拼接的三种融合范式，发展到 LLM 浪潮下"知识先验 + 大规模 scaling"的两大动作生成头（自回归 token 化与基于扩散的合成），并进一步扩展到融合 3D、深度、力/触觉的"多模态物理交互"基础模型。其根本局限在于仍是反应式映射、未捕获世界动力学。

• 世界模型方面：综述给出了共识性定义（建模环境动力学与动作效果的内部表征），并按条件方式划分为动作条件（$P(o^{\prime }\mid o,a)$）与语言条件（$P(o^{\prime }\mid o,l)$）两大类。动作条件模型又分为显式像素级预测（从 ACVP/CDNA 等早期模型，到自回归式 iVideoGPT/Genie 与扩散式 Diffusion World Model）与隐式潜在动力学模型（RSSM 系的 PlaNet/Dreamer、TSSM 系的 TransDreamer、以及预测式表征学习 JEPA/V-JEPA 2）。语言条件模型则沿 GAN→U-Net 扩散→ViT 扩散→潜空间扩散的技术脉络演进，涌现出 Sora、Wan、Veo 3 等视频基础模型。具身世界模型则进一步从人类视频学习物理动力学、提升生成质量并拓展模态边界。

• 早期融合方面：世界模型从学习（模仿学习数据增强、基于模型的 RL、奖励建模）与评估（数据驱动仿真器、闭环 rollout）两个互补视角增强 VLA，弥合了 VLA"只反应、不预测"的缺陷。这些基础与早期融合工作，为后续章节中"级联式 WAM"与"联合式 WAM"的统一框架提供了概念与方法论土壤。

---

第4章 架构：级联式与联合式WAM

第3章将世界模型视为策略训练与评估的"外部工具"——作为仿真环境、奖励模型或鲁棒基准。而最新进展则把世界建模直接集成进策略架构，使世界模型从"离线监督者"转变为 WAM 的内部预测核心，让模型在实时推理中即可推演世界动力学。据此，WAM 架构可按"结构流"与"训练范式"分为两大范式：

• 级联式 WAM（Cascaded WAM，Sec. 4.1）：采用顺序两阶段流水线——先用世界模型合成"未来状态"（像素、潜在或光流空间），再由独立的动作模型从该计划中解码出可执行动作。因结构解耦，世界模型与动作解码器作为独立模块分别训练。
• 联合式 WAM（Joint WAM，Sec. 4.2）：在单一模型内统一预测未来状态与动作，二者在共享表征空间内协同生成；世界建模与动作生成在统一目标下联合训练，迫使模型内化环境动力学与控制信号之间的因果依赖。

这种"从外挂工具到内部预测核心"的转变，是 WAM 区别于传统 VLA + 世界模型组合的关键架构特征。下面分别展开。

---

4.1 级联式世界-动作模型（Cascaded WAM）

级联式世界-动作模型（Cascaded WAM）通过一条顺序的两阶段流水线来实现"世界—动作"映射：世界模型首先合成一个表征预期未来的视觉计划，随后由一个独立的动作模型从该计划中解码出可执行的机器人指令。这种解耦在数学上可写作联合分布在"未来状态"与"动作"上的分解：

$$p(o^{\prime },a\mid o,l)=p(a\mid o^{\prime },o,l)p(o^{\prime }\mid o,l)$$

其中 $o$ 为当前观测、$l$ 为语言指令、$o^{\prime }$ 为模型预测的下一状态（视觉计划载体）、$a$ 为最终输出的动作。该分解提供了一个天然的归纳偏置——世界模型无需关心机器人运动学，动作模型也无需解决长时程场景预测——但同时也引入了两阶段之间的耦合，这种耦合深刻地塑造了该范式下几乎每一个设计决策。

级联式与联合式（Joint WAM，见 4.2）的根本区别正在于此：由于结构性解耦，级联式通常采用分离的训练流程，世界模型与动作解码器作为两个独立模块分别优化；而联合式则在统一目标下联合训练预测状态建模与动作生成，强迫模型内化环境动力学与控制信号之间的因果关联。根据中间规划载体（planning carrier）的类型，级联式 WAM 又可大致分为两大类：显式规划（Sec. 4.1.1）以像素空间表征为载体；隐式规划（Sec. 4.1.2）以潜在表征为载体。图 5 给出了这些级联模式的示意对比。

4.1.1 显式像素空间规划（Explicit Planning via Pixel-Space Representations）

最直接的级联式 WAM 实现，是用原始像素帧作为两阶段之间的中间表征。像素空间计划具有即刻可解释性，并能充分利用在互联网规模数据上预训练的大型视频生成模型所具备的全部表征容量，因此成为自然的起点。该方向的工作依据"动作如何从合成视频中提取"大致分为两条路线：学习式动作提取（通过学习逆动力学 IDM）与几何式动作提取（通过闭式几何计算）。

学习式动作提取（Learned Action Extraction）

UniPi 奠定了级联式 WAM 的基础两阶段蓝图：一个文本条件的时空 U-Net 扩散模型合成任务执行视频，再由一个卷积逆动力学模型（IDM）在相邻帧对之间回归出动作。虽然该方法证明了这一闭环的可行性，但单次长时程生成被发现存在语义漂移和误差累积的问题。

经典论文：UniPi (Learning Universal Policies via Text-Guided Video Generation) — 与 WAM 的关系及核心创新：作为级联式 WAM 的奠基之作，首次确立了"视频生成 → 逆动力学回归动作"的两阶段范式，把"把策略学习转化为文本引导的视频生成"这一思路变成了可复现的闭环。

后续工作从互补的角度攻击了误差累积问题。VLP 引入了语义层级的干预：为流水线配备一个视觉-语言模型（VLM）进行层级式子动作生成，并使用基于树搜索的价值打分（LAVA），将误差累积限制在每个独立子片段之内。RoboEnvision 则改用非自回归策略，利用 VLM 分解的子任务指令来条件化生成代表子任务终态的关键帧，随后通过这些锚点之间的插值合成完整视频，从结构上规避了长时程自回归漂移。

可控性与生成效率也受到了持续关注。This&That 针对场景中存在多个同类物体时"仅靠语言定指"的根本歧义问题，将视频生成本身联合条件于指示性指代表达（“this”/“that”）与配对的手势坐标，从而在不依赖语言消歧的情况下传递操作意图。Say, Dream and Act 从另一方向追求效率：采用对抗蒸馏来减少去噪步数，并引入一种帧率无关（frame-rate-agnostic）的视频预测机制，将轨迹规划与任何固定执行频率解耦，从而在变长时间区间上实现统一预测。

规划载体的空间表达也被扩展到了标准 RGB 视频之外。TesserAct 在视频预测目标中加入了深度与表面法向量通道，把显式几何约束引入规划载体，为下游动作提取提供了更丰富的线索。MVISTA-4D 则干脆用"轨迹级潜在优化 + 残差 IDM 精修"的两步机制替换了传统的逐步 IDM，缓解了逐步动作提取的病态性（ill-posedness）。

将该方法跨具身体类型与跨数据源推广，催生了又一条工作线。Vidar 在基于扩散的视频基础模型之上构建，将人类操作视频翻译为机器人执行视频，同时通过将机器人类型、相机布局、任务指令与场景上下文编码为全局生成条件、并采用掩码预测聚焦于交互关键区域，来统一建模双臂机器人。Gen2Act 进一步迈向具身体无关（embodiment-agnostic）操作：零样本调用预训练的 VideoPoet 模型在无需任何微调的情况下生成人类操作视频，并以闭环神经策略替换硬编码的几何提取规则，该策略使用点追踪作为辅助损失来隐式编码运动信息。Veo-Act 则通过门控机制处理基础视频模型在接触密集阶段（contact-rich phase）的精度缺口：多头 IDM 从 Veo-3 生成视频中提取动作用于粗导航，而一个在线交互检测器一旦检测到即将接触，便将控制权移交给一个反应式 VLA 策略。

除了通过特定 IDM 提取动作，若干工作用其他解码器替换了 IDM。VAG 采用一个 1D U-Net 作为动作解码器：视频扩散分支完成去噪到像素空间的完整流程，视频 U-Net 的中间特征再去条件一个独立的动作 U-Net。π0.7 则用预训练的 VLA 替换第二阶段的 IDM：一个基于 BAGEL 的世界模型生成期望近态的多视角子目标图像，这些图像连同语言与回合元数据被直接注入 VLA 的上下文窗口，VLA 的 flow-matching 动作专家（action expert）随即在该"想象出的未来"条件化下产生动作块（action chunk）。这一设计将泛化的负担从逆动力学学习转移到了 VLA 的预训练上下文理解能力上，无需任何任务特定微调即可实现开箱即用与零样本跨具身体性能。

几何式动作提取（Geometric Action Extraction）

并行的另一条工作线用结构化中间表征上的几何计算替换学习式 IDM，将动作提取从一个逆动力学学习问题转化为一个解析可解的几何问题。该家族又按运动是表示为光流还是被追踪物体位姿而进一步细分。

以光流为中间表征的思路由 AVDC 引入：它将视频合成与动作提取完全分离——一个文本条件的扩散模型生成完整像素级视频，从中计算稠密光流并解析推导出 SE(3) 变换，训练阶段不需要任何动作标注。

经典论文：AVDC (Learning to Act from Actionless Videos through Dense Correspondences) — 与 WAM 的关系及核心创新：开创了"光流作为像素空间与动作之间的几何接口"这一路线，把动作提取彻底从学习问题转为解析几何问题，因此训练时不需要任何动作标注。

Im2Flow2Act 将流估计迁移到潜在空间：使用基于 AnimateDiff 的流生成网络直接绕开像素级视频合成，再由一个单独训练的流条件化策略将流场直接映射为动作，以牺牲像素级外观信息换取计算效率。3DFlowAction 把这一表征从二维提升到三维，使用视频扩散生成稠密三维流场，以捕捉平面流无法触及的旋转与深度位移运动分量。NovaFlow 与 Dream2Flow 进一步将该范式推向零训练运行：直接使用预训练的视频生成模型，通过深度估计与点追踪推导出三维物体级流，再转换为机器人指令，全程不需要示教数据或额外训练。

以位姿追踪为几何接口构成第二条几何提取路线。Dreamitate 以工具作为人类与机器人动作之间的链接代理：一个在人类工具使用示教上微调的立体视频扩散模型以立体场景图像为条件生成任务执行视频，从中用 MegaPose 逐帧追踪工具的 6-DoF 位姿；立体几何约束深度估计，逆运动学将所得轨迹映射到关节指令，使动作提取完全不依赖于机器人形态学。4DGen 将其扩展到多视角一致生成，使用 SVD 骨干网络从双视角 RGB-D 条件联合预测 RGB 视频与三维点图序列。RIGVid 将 FoundationPose 应用于追踪被操作物体（而非工具），用轨迹重定向（trajectory retargeting）替换逆运动学，并以经 VLM 质量过滤的零样本扩散生成视频替换人类示教视频。LVP 从生成的人类操作视频中重建三维手部位姿，并通过运动学映射将其映射到末端执行器轨迹；同时采用 Diffusion Forcing——将视频划分为低噪声历史段与高噪声未来段并施加因果掩码——以提升生成的时序一致性。

表 1：级联式 WAM 方法对比（Table 1 中文精简版）

下表汇总了本节讨论的级联式 WAM 方法。列含义：中间表示（两阶段之间的规划载体）；Stage-1 主干（世界模型/视频生成主干）；Stage-2 模型（动作解码器）；是否需动作标注（训练阶段是否需要动作标签）；是否零样本（是否无需任务特定训练/微调）；评估（Sim=仿真基准，Real=实体机器人）。

像素空间表征 — 学习式动作提取

方法	中间表示	Stage-1 主干	Stage-2 模型	需动作标注	零样本	评估
UniPi	像素 RGB	Video U-Net	轻量 IDM (CNN+MLP)	✓	×	Sim: PDSketch 方块操作, CLIPort；Real: WidowX
VLP	像素 RGB	Video U-Net + PaLM-E 12B	LAVA	✓	×	Sim: Language Table；Real: Language Table 机器人, 7-DoF 移动臂, 14-DoF ALOHA 双臂
RoboEnvision	像素 RGB	OpenSora (DiT)	OpenSora DiT	✓	×	Sim: LanguageTable, LHMM (自建)；Real: -
This&That	像素 RGB	U-Net	自定义闭环神经策略	✓	×	Sim: IsaacGym；Real: -
Say, Dream & Act	像素 RGB	COSMOS-PREDICT2	Transformer (ACT) + Qwen2.5	✓	×	Sim: LIBERO；Real: Franka 7-DoF 臂
TesserAct	像素 RGB-DN	CogVideoX (DiT)	PointNet++, MLP	✓	×	Sim: RLBench；Real: -
MVISTA-4D	像素 RGB-D	WAN2.2 TI2V	PointNet	✓	×	Sim: RLBench, RoboTwin2；Real: AgileX Piper
Vidar	像素 RGB	Wan2.2 (sim) / Vidu 2.0 (real)	掩码 IDM (MIDM)	✓	×	Sim: RoboTwin 2.0；Real: Aloha
Gen2Act	像素 RGB	VideoPoet	自定义闭环神经策略	✓	×	Sim: -；Real: 移动操作机器人
Veo-Act	像素 RGB	Veo-3	多头 IDM + VLA (π0.5)	✓	×	Sim: IsaacLab；Real: 7-DoF 臂 + 12-DoF 灵巧手
VAG	像素 RGB	Cosmos-Predict2	1D U-Net	✓	×	Sim: LIBERO；Real: AgiBot G1, AgileX Cobot Magic
π0.7	像素 RGB	BAGEL	VLA	✓	×	Sim: -；Real: 移动操作平台, 静态双臂, UR5e

像素空间表征 — 几何式提取

方法	中间表示	Stage-1 主干	Stage-2 模型	需动作标注	零样本	评估
AVDC	像素 RGB → 光流	U-Net	现成几何流水线（免学习）	×	×	Sim: Meta-World, iTHOR；Real: Franka Emika Panda
Im2Flow2Act	光流	AnimateDiff + Stable Diffusion（潜在）	流条件化 IL 策略	✓	×	Sim: 自建任务；Real: UR5e
3DFlowAction	三维光流	AnimateDiff + Stable Diffusion	流约束优化策略	×	×	Sim: 自建任务；Real: Franka, XTrainer
NovaFlow	光流	Wan 2.1 + 现成模块	基于流的执行器	×	✓	Sim: -；Real: Franka Emika Panda, Boston Dynamics Spot
Dream2Flow	光流	现成 I2V 模型	CoTrackerV3 + 轨迹优化 / RL	×	✓	Sim: OmniGibson, RoboSuite；Real: Franka 臂, Spot, GR1 人形
Dreamitate	像素 RGB	U-Net	MegaPose	×	×	Sim: -；Real: UFACTORY xArm 7, UR5
4DGen	像素 RGB-D + 四维点图	U-Net	FoundationPose + SAM2	×	×	Sim: LBM；Real: 双 Franka Panda
RIGVid	像素 RGB	Kling v1.6	GPT-4o, 深度估计器, FoundationPose, Grounding DINO + SAM-2, AnyGrasp	×	✓	Sim: -；Real: XArm7, Aloha
LVP	像素 RGB	WAN 2.1 I2V 14B	HaMeR, MegaSAM, Dex-Retargeting, cuRobo	×	✓	Sim: -；Real: Franka Emika + 平行夹爪, Unitree G1 + Inspire 灵巧手

隐式潜在表征规划（详见 4.1.2）

方法	中间表示	Stage-1 主干	Stage-2 模型	需动作标注	零样本	评估
Video Policy	潜在特征	U-Net	动作 U-Net	✓	×	Sim: RoboCasa, Libero10；Real: 未指定
ARDuP	潜在视频帧 + 主动区域编码	U-Net	轻量 CNN	✓	×	Sim: CLIPort；Real: WidowX
mimic-video	潜在视频	Cosmos-Predict2	动作解码器 DiT	✓	×	Sim: SIMPLER-Bridge, LIBERO；Real: 双 Franka Emika Panda + 16-DoF 灵巧手
VPP	潜在视频	Stable Video Diffusion	VideoFormer + DiT 扩散策略	✓	×	Sim: CALVIN, MetaWorld；Real: Franka Panda, Xarm + 12-DoF Xhand
VILP	潜在视频	U-Net + 三维卷积	双 CNN 编码器 + MLP 头	✓	×	Sim: 自建任务；Real: Franka Panda
LAPA	离散潜在动作 token	C-ViViT tokenizer	LWM-Chat-1M	✓	×	Sim: Language Table, SIMPLER；Real: 7-DoF Franka Emika Panda
villa-X	离散潜在动作 token	时空 Transformer + ViT + 本体感受 FDM	PaliGemma VLM	✓	×	Sim: SIMPLER, LIBERO；Real: 夹爪操作, 灵巧手操作
S-VAM	潜在特征	Stable Video Diffusion	Uni-Perceiver	✓	×	Sim: CALVIN, MetaWorld；Real: AgileX Cobot 双臂
OmniVTA	潜在触觉特征	双流 DiT	扩散策略 + MLP 控制器	✓	×	Sim: -；Real: 7-DoF xArm + 触觉传感器
MWM	潜在特征	DiT	扩散策略	✓	×	Sim: LIBERO, RLBench；Real: Franka

4.1.2 隐式潜在表示规划（Implicit Planning via Latent Representations）

像素级视频合成的计算开销，是阻碍实时部署的首要瓶颈。隐式规划路径的动机来自于一个观察：扩散过程中形成的中间潜在表征已经编码了规划所需的动力学信息，因此再解码回像素空间是不必要的。规划载体由此被替换为始终保持在压缩表征空间中的潜在特征序列。

VPP 直接验证了这一权衡：一个预训练 VAE 对观测帧进行编码，一个扩散模型对未来潜在序列做单步预测，一个轻量策略网络以这些潜在表征为条件产生动作——首次在该框架内达到了与实时控制相容的规划推理速度。

经典论文：VPP (Video Prediction Policy) — 与 WAM 的关系及核心创新：隐式潜在规划的代表作，证明"未来潜在序列的单步预测 + 轻量策略头"即可支撑实时控制，将中间规划载体从像素帧替换为潜在特征序列，开启了隐式级联 WAM 这一整条子路线。

VILP 在同一范式下引入多视角潜在规划：从两个同步视角生成完整的潜在视频序列，再用一个单独训练的状态策略网络恢复动作。S-VAM 直接针对 VPP 单步推理所付出的生成质量代价，用自蒸馏来弥合效率与保真度之间的鸿沟：训练阶段，一个冻结的多步 SVD 骨干网络提供结构化的教师表征，监督轻量的时空解耦器，将迭代生成浓缩为单次前向传播；推理阶段，单步特征经由 QFormer 式感知器聚合，并条件化一个基于 DiT 的扩散策略，在实时控制频率下恢复高质量规划。

Video Policy 虽然第一阶段仍使用显式像素视频，却开创了一项关键的隐式提取技术：在为视频预测微调 SVD 之后，所有视频 U-Net 权重被冻结，再训练一个独立的动作 U-Net，以视频解码器的中间特征为条件生成动作序列——确立了"特征级条件化"作为像素或流输入之外的一种替代方案。ARDuP 在训练阶段从 Co-Tracker 的稠密运动点追踪与 SAM 生成的交互区域掩码中导出伪监督，把所得的"主动区域提议"作为条件注入视频扩散模型，使生成集中于任务相关区域。mimic-video 通过以 flow matching 替代 DDPM、并采用在 ODE 积分中间检查点处提取特征的"部分去噪"策略来推进生成效率，绕开完整的生成路径。MWM 用未来语义掩码潜在表征替换 RGB 预测，缓存其冻结的掩码预测骨干网络的隐状态以条件化一个动作扩散头；这种几何信息瓶颈有效滤除了光度上的 nuisance，在严重的视觉偏移下仍能给出高度鲁棒的控制。

OmniVTA 将隐式潜在规划扩展到视触觉（visuo-tactile）领域：一个双流扩散 Transformer 联合生成未来视觉与触觉潜在表征，下游融合策略通过一个差分编码器（捕捉预测接触状态与当前接触状态之间的差异）消费预测的触觉潜在表征，从而在接触密集操作中对未见物体实现鲁棒泛化。

LAPA 提出了一种无监督的潜在动作预训练框架：一个基于 VQ-VAE 的潜在动作模型以自监督方式从无标注视频中学习"状态—潜在动作"先验，在下游微调时仅需少量真实动作标注即可映射到实际关节动作，显著降低了对标注的需求。villa-X 从两个关键方面推进了潜在动作建模：其一，引入一个本体感受前向动力学模型（proprio-FDM），通过对视觉重建与本体感受预测损失进行联合优化，将潜在动作锚定于物理动力学；其二，提出一个由"潜在动作专家"与"机器人动作专家"组成的联合扩散框架，其中潜在动作显式地条件化低层动作生成，以实现更有结构化的知识迁移。

经典论文：LAPA (Latent Action Pretraining from Videos)（注：原始发表为 ICLR 2025，OpenReview 链接） — 与 WAM 的关系及核心创新：提出无监督的潜在动作预训练范式，从海量无标注视频中自监督学习"状态—潜在动作"先验，再以少量真实标注对齐到关节动作，为级联式 WAM 提供了一种以数据效率为核心的潜在动作建模范式。

经典论文：π0.7 — 与 WAM 的关系及核心创新：以预训练 VLA 替换传统 IDM 作为第二阶段，世界模型（BAGEL）生成的多视角子目标图像直接注入 VLA 上下文窗口，把泛化负担从逆动力学学习转移到 VLA 的预训练上下文理解，实现零样本跨具身体操作。

经典论文：VPP / Video Policy / S-VAM / mimic-video — 隐式潜在规划一脉的核心演进：VPP 首次证明潜在序列单步预测可支撑实时控制；Video Policy 确立特征级条件化；S-VAM 用自蒸馏在单步推理下恢复多步生成质量；mimic-video 用 flow matching 与部分去噪进一步压低推理成本。四者共同勾勒出"以潜在表征为载体"的级联 WAM 谱系。

综上，级联式 WAM 通过"先规划未来、再解码动作"的两阶段解耦，在归纳偏置与训练灵活性上具有天然优势：显式像素路线可复用互联网级视频生成模型、计划即刻可解释，但受制于生成效率与误差累积；几何提取路线免去了动作标注、把动作抽取变为解析问题，却依赖于结构化中间表征的质量；隐式潜在路线以压缩表征绕开像素合成、支撑实时控制，但需要在效率与保真度之间精细权衡。这三条路线共同构成了级联式 WAM 的方法图谱，也为 4.2 节将讨论的联合式 WAM 提供了对照基线。

4.2 联合式世界-动作模型（Joint WAM）

联合式世界-动作模型（Joint World-Action Model）指这样一类架构：未来世界状态与动作在同一单一模型内部被联合预测，世界建模与动作生成同时作为训练阶段的联合监督目标。其形式化目标是直接对未来状态与动作的联合分布进行建模，例如 $p(o^{\prime },a\mid o,l)$，即在给定当前观测 $o$ 与语言指令 $l$ 的条件下，同时预测下一（或未来若干步的）世界状态 $o^{\prime }$ 与动作 $a$，而非像级联式 WAM 那样先生成未来再条件化地导出动作。由于世界建模与动作生成在共享的表征空间内被协同优化，模型内部的世界先验能够直接约束、正则化甚至引导动作生成，二者在梯度与表征层面深度耦合。

联合式架构的核心设计问题在于：在一个共享的预测系统中，世界状态生成与动作生成应当如何被耦合？依据世界-动作预测所赖以实现的"基底"（substrate）不同，可将现有联合式 WAM 进一步划分为两条技术路线：（1）自回归生成（Autoregressive Generation，见 4.2.1），将未来世界变量与动作变量序列化为 token 空间，通过因果式的自回归预测进行建模；（2）扩散式非自回归生成（Diffusion-based Non-Autoregressive Generation，见 4.2.2），通过扩散过程或连续流匹配（flow-matching）生成未来观测、潜在世界状态或动作轨迹，在连续潜在空间内或通过并行去噪流实现对两种模态的联合精炼。

4.2.1 自回归生成（Autoregressive Generation）

自回归生成分支依赖因果的、从左到右的序列解码来参数化未来状态与控制信号。在此类架构中，异构的变量被序列化为统一的时序序列，世界与动作的联合分布被按序分解：

$$p(o^{\prime },a\mid o,l)=\prod _{t}p(z_t\mid z_{<t},o,l),$$

其中 $z_t$ 在不同时刻可能是世界 token（视觉/潜在状态）或动作 token。这种因果序列建模机制保证了在给定生成窗口内，较早的预测会因果地条件化后续步骤。

然而，将控制与视频生成同时塞入严格的从左到右预测问题，会引入深刻的架构张力。首要挑战在于缓解灾难性误差传播（catastrophic error propagation）——早期的视觉幻觉会级联扩散为后续的动作失败；同时还要在序列解码固有的计算瓶颈与实时机器人执行的低延迟需求之间取得平衡。本节按目标表征与输出接口的演化脉络，将文献组织为三种表征范式：（1）显式解耦表征（Explicit Decoupled Representation），各模态保持异构格式，通过结构上分离的输出头解码；（2）统一离散表征（Unified Discrete Representations），各模态被完全量化为同构的 token 空间，由共享预测头统管；（3）预测式潜在表征（Predictive Latent Representations），放弃显式 token 生成，转而在抽象的连续潜在空间上进行自回归。

显式解耦表征（Explicit Decoupled Representation）

早期自回归联合预测方法在表征层面保持了严格的模态分离。这类架构并不强行将连续的物理动力学与高维视觉状态压入同一共享词表，而是保留其异构数据格式。其核心设计原则是表征解耦：依赖显式注入的控制 token（如 [ACT]、[OBS]）将交错的序列特征路由到结构上分离、任务专用的输出头，通常是将一个连续动作解码器与一个离散视觉 patch 回归分支配对使用。

GR-1 通过实验证明：一个在视频重建任务上预训练的 Transformer，可以经微调后经由双分支头同时解码未来视觉 patch 与连续动作。通过显式地强制模型预判即将到来的视觉事件，内化的视频预测成为动作生成的强正则化项。

经典论文：GR-1: Unleashing Large-Scale Video Generative Pre-Training for Visual Robot Manipulation — 与WAM的关系及核心创新：自回归联合 WAM 中"显式解耦表征"范式的开创者；证明视频生成式预训练可作为动作生成的强正则化项，奠定"先想象未来、再生成动作"的范式基础。

然而纯粹的视觉 rollout 较为脆弱。为此，GR-MG 将世界 rollout 过程解耦为宏观/微观步骤的层级结构：通过引入 [PROG] token 并以扩散生成的视觉目标作为策略的条件，即使在中间像素预测失败时，语言模态仍能引导执行。在此基础上，GR-2 将这一理念规模化，并转向使用 VQGAN token 的全离散视觉管线。关键的是，GR-2 将视觉 rollout 视为一个隐式规划器，将离散视觉前瞻与由 CVAE 参数化的连续动作分块（action chunking）耦合起来。

经典论文：GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation — 与WAM的关系及核心创新：将视觉 rollout 升级为全离散 VQ token 管线，并将其作为隐式规划器，与 CVAE 参数化的连续动作分块耦合，验证了规模化视频-语言-动作联合建模的可行性。

这类多头方法虽证明了联合自回归预测的可行性，但其对分离分支的依赖常暴露显著的延迟瓶颈，并限制了跨模态对齐的深度。

统一离散表征（Unified Discrete Representations）

随着通用视觉-语言基础模型的规模化，表征重心从解耦路由转向在同构 token 空间内的深度融合。在此范式下，物理模态与视觉模态的异构性被完全消解：连续动作与高维图像被完全量化并映射到单一的共享 LLM 词表中。于是，物理动力学与视觉状态被表示为统一的离散符号，由完全相同的 next-token 预测头生成。该组方法的核心挑战也随之转变为：如何设计注意力与路由机制，以缓解自回归地采样长串"无根基"动作 token 时固有的严重复合误差。

研究者提出了不同的注意力与路由机制来解决这一复合误差问题。CoT-VLA 采用混合注意力路由，将注意力机制一分为二：首先用因果注意力自回归地"幻觉"出一条离散视觉思维链（chain-of-thought, CoT），随后切换为全注意力（full attention）机制，同步预测出到达该生成视觉状态所需的一串动作 token。

经典论文：CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models — 与WAM的关系及核心创新：以"先视觉思维链、再全注意力同步动作"的混合注意力路由缓解动作 token 复合误差，将视觉前瞻显式纳入统一离散表征的自回归生成。

不同于切分生成阶段，WorldVLA 依赖模态专用的因果掩码。它严格通过交错的 prompt 模板运作，并在策略 rollout 期间修改标准因果掩码，显式禁止同一分块内的当前动作 token 关注此前已生成的动作 token，从而强制局部预测完全立足于历史视觉与语言上下文。

经典论文：WorldVLA: Towards Autoregressive Action World Model — 与WAM的关系及核心创新：通过模态专用的因果掩码禁止同分块动作 token 间的相互关注，使每一步动作预测都严格扎根于历史视觉-语言上下文，缓解复合误差。

为缓解纯离散控制的高方差，RynnVLA-002 在离散 MLLM 主干上附加一个轻量的连续 Action Transformer 头，在保留统一世界建模的同时并行解码连续动作分块。ℱ1 则将这种混合化推向更远：采用混合专家 Transformer（Mixture-of-Transformer, MoT）框架解耦预测通路。它引入一个"生成专家"通过 next-scale prediction 自回归预测离散 VQ token；通过渐进式注意力（progressive attention），"动作专家"直接从已幻觉出的视觉前瞻中推导控制信号，实质上将动作生成重构为一个前瞻引导的逆动力学问题（foresight-guided inverse dynamics）。

预测式潜在表征（Predictive Latent Representation）

虽然自回归地生成显式视觉 token 或解耦 patch 具有高可解释性，但其计算开销巨大，且极易陷入"像素匹配捷径"（pixel-matching shortcuts）——模型将容量耗费在重建无关的背景扰动上，而非学习可操作的转移物理。为绕开这一困境，预测式潜在表征将表征基底从显式像素整体迁移到抽象的连续潜在嵌入。

这一范式最突出的代表是联合嵌入预测架构（Joint-Embedding Predictive Architecture, JEPA）家族。VLA-JEPA 将联合序列建模严格地建立在这种高层潜在空间之上。它提取连续的潜在动作 token，用以条件化引导一个自回归世界模型，该模型预测由冻结目标网络编码的未来表征。由于未来帧仅作为孤立的监督目标使用，架构在结构上保持无泄漏（leakage-free）。在物理执行层面，这种抽象的转移知识通过一个 embodied action token 桥接，该 token 条件化一个流匹配（flow-matching）头。通过以潜在转移对齐取代显式视觉合成，该方法天然地优先保证语义抽象与鲁棒性，而非像素级重建。

经典论文：VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model — 与WAM的关系及核心创新：以 JEPA 风格的潜在空间自回归预测取代显式像素生成，规避像素匹配捷径；未来帧仅作监督目标保证结构无泄漏，并通过 embodied action token 条件化流匹配头实现物理执行。

表 2 汇总了本节综述的自回归生成类方法（"参数量"报告主干规模或论文明确给出的模块尺寸；"N/A"表示论文未明确给出清晰的参数数字）。

表 2　自回归生成类联合 WAM 方法汇总

模型	参数量	主干	I/O 模态	评估
显式解耦表征
GR-1	195M	GPT 式因果 Transformer	观测、文本、本体状态 → 未来 patch、连续动作	Sim: CALVIN；Real: Kinova Gen2
GR-MG	N/A	GPT 式 + InstructPix2Pix	观测、文本、历史 → 目标图像、任务进度、动作	Sim: CALVIN；Real: Kinova Gen3
GR-2	30–719M	GPT 式因果 Transformer	观测、文本、本体状态 → 未来 VQ token、连续动作	Sim: CALVIN；Real: Kinova Gen3
统一离散表征
CoT-VLA	7B	VILA-U	观测、文本 → 未来视觉 token、离散动作	Sim: LIBERO、Bridge-V2、Franka-Tabletop；Real: —
WorldVLA	7B	Chameleon 式 MLLM	观测、文本 → 未来 VQ token、离散动作	Sim: LIBERO；Real: —
RynnVLA-002	5B	Chameleon + Action Head	观测、文本、状态 → 未来 VQ token、连续动作	Sim: LIBERO；Real: SO100
ℱ1	4.2B	混合专家 Transformer (MoT)	观测、文本 → 未来 VQ token、连续动作	Sim: LIBERO、SimplerEnv；Real: Genie-1、Franka、ARX LIFT II
预测式潜在表征
VLA-JEPA	2B	Qwen3-VL-2B	观测、文本 → 未来潜在、连续动作	Sim: LIBERO、SimplerEnv、LIBERO-Plus；Real: Franka

4.2.2 扩散式生成（Diffusion-based Generation）

扩散式生成是联合世界-动作建模的一条重要技术路线，其特征是采用多步生成过程以捕捉未来状态的复杂分布。借助扩散过程或连续流匹配等生成框架，这类架构在多步时间跨度上并发地生成未来世界状态与动作序列。该路线从根本上克服了自回归建模的序列瓶颈，使闭环控制所需的高频执行成为可能。

为系统刻画扩散式联合模型的多样图景，本节按其预测流的结构性耦合方式进行组织：（1）统一流架构（Unified Stream）：将世界变量与动作变量整合进单一、同构的预测主干（如单个 DiT），世界建模与动作生成被视为共享潜在空间内的联合去噪任务，通过统一的注意力机制实现最紧密的同步；（2）多流架构（Multi-Stream）：将生成分散到若干协调的分支或模态专用专家上，世界分支与动作分支之间通过显式耦合机制（如交叉注意力、隐状态条件化、共享编码器）实现交互。图 6 给出了该类别及其主要子模式的总览。

统一流（Unified Stream）

统一流这一族结构将世界变量与动作变量的并行生成吸收进一个统一主干（通常是单个扩散 Transformer，DiT）中。世界相关与动作相关的变量在同一主主干内被处理，方法间的差异通常通过预测目标的形式、辅助 token 或前缀的组织方式，或额外条件信息注入主干的方式来实现，而非通过显式的多分支分解。本族进一步区分为两条反复出现的子路线：显式未来预测与隐式未来预测。

（1）显式未来预测（Explicit Future Prediction）

该模式通过将未来观测或其显式的潜在代理设为模型的直接预测目标来引入未来世界监督。在此族中，世界建模通过从其他模态显式生成未来图像或目标得以实现，因此未来状态预测始终是训练中主去噪目标的一部分。方法间的差异主要在于这些未来目标的形式及其在训练与 rollout 中的组织方式。

最直接的实例是对未来图像潜在变量与动作 token 的拼接序列进行联合去噪。PAD 是这一设计的代表：将多模态输入（RGB 图像、机器人位姿、深度）编码为统一潜在序列，在共享去噪目标下联合预测未来帧与动作分块。PAD 从头训练，并在预训练阶段通过以动作填充（action padding）扩展 token 序列并施加相应注意力掩码的方式，纳入无动作的互联网视频数据。消融实验证实：移除未来图像预测或视频协同训练中的任一项都会损害控制性能——这表明显式世界建模监督对动作训练质量与推理性能均有实质性贡献。

经典论文：PAD: Prediction with Action: Visual Policy Learning via Joint Denoising Process — 与WAM的关系及核心创新：统一流显式未来预测的奠基之作；将未来图像潜在与动作 token 拼接后在共享去噪目标下联合预测，并通过动作填充+注意力掩码吸收无动作互联网视频，实证世界建模监督对动作质量与推理性能均有贡献。

VideoVLA 共享相同的联合去噪结构，但出发点不同：它并非从头训练，而是复用预训练的 CogVideoX-5B 视频扩散主干，将未来视频潜在变量与 7-DoF 动作分块视为以当前帧和语言指令为条件的联合去噪目标序列。由于预训练视频模型中已编码了丰富的视觉动力学，故无需无动作协同训练。

UWM 提出了一种更灵活的设计：在一个共享 Transformer 内，通过分别为世界变量与动作变量指派可独立控制的噪声水平，来解耦二者的扩散调度。这一看似简单的改动具有显著的功能后果——通过在测试时独立控制两侧噪声水平，同一模型可被引导进入性质上不同的运行模式：策略推理、前向动力学预测、逆动力学，或纯视频生成——而无需任何架构切换。它还为无动作视频数据提供了优雅方案：缺失的动作侧被简单全噪声化，标准去噪目标保持不变地应用。

经典论文：UWM: Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets — 与WAM的关系及核心创新：在单一 DiT 内为世界与动作变量分配独立可调噪声水平，使同一检查点可在策略/前向动力学/逆动力学/纯视频生成等多模式间无架构切换地切换，并以全噪声化优雅处理无动作视频。

UWM 通过独立噪声调度泛化了耦合方式，而 Cosmos Policy 则拓宽了联合预测的内容。它构建于 Cosmos-Predict2 视频主干之上，引入潜在帧注入（latent frame injection）：本体感知、动作分块、未来状态与预测的价值函数被编码为潜在帧，并与图像潜在变量交错排列于同一去噪序列中。这一表述允许单一检查点同时充当策略、世界模型与价值函数，并在推理时只需切换为自回归解码即可通过 best-of-N 采样实现规划。

经典论文：Cosmos Policy: Fine-tuning Video Models for Visuomotor Control and Planning — 与WAM的关系及核心创新：以潜在帧注入将本体感知、动作、未来状态与价值函数统一交错进同一去噪序列，使单一检查点同时承担策略、世界模型与价值函数，并支持 best-of-N 规划。

DreamZero 是该设计的代表性实例：直接构建于预训练的 Wan2.1 图生视频主干之上，仅附加轻量模块（状态/动作编码器与动作解码器），在共享目标下联合去噪视频潜在与动作潜在。为在不累积生成式视觉漂移的前提下保持闭环条件化，它在每个执行分块后通过基于 KV-cache 的观测替换（observation replacement）用真实观测替换想象出的未来帧。为将推理延迟压入实时控制范围，它进一步引入一整套系统级优化：异步执行、DiT 缓存、量化与 CUDA-graph 编译。

经典论文：DreamZero: World Action Models — 与WAM的关系及核心创新：基于 Wan2.1 I2V 主干轻量扩展联合去噪视频与动作潜在；以 KV-cache 观测替换消除生成式视觉漂移，并辅以异步执行、DiT 缓存、量化、CUDA-graph 等系统优化实现实时控制级延迟。

GigaWorld-Policy 采用相同架构设计，但将动作生成的注意力调整为仅关注历史与当前观测而非想象出的未来帧，从而在推理时无需生成未来视频，实现进一步加速。X-WAM 则通过将末层 DiT 块复制为一个交错的深度分支来扩展预测目标，在不破坏预训练视觉先验的前提下实现显式的 RGB-D 联合建模，并采用异步噪声采样（Asynchronous Noise Sampling）对齐训练与测试时的噪声调度以高效派发动作。

此外，也有工作探索以离散扩散作为连续去噪的替代方案进行联合未来生成：UD-VLA 在统一的离散 token 空间上，通过迭代式的掩码-预测（mask-and-predict）步骤联合去噪未来图像 token 与动作 token。

（2）隐式未来预测（Implicit Future Prediction）

该模式通过未来状态的隐式表征而非显式生成未来观测来引入未来世界监督。在此族中，策略仍以单一动作生成为主干运作，但未来信息通过附加的未来 token 或未来前缀引入，其中间表征被对齐到由教师编码器或预训练视觉模型提供的未来观测嵌入。因此监督目标并非重建的未来帧或视频序列，而是在潜在层面学习到的紧凑未来表征。与前述显式未来预测组相比，这些方法将世界建模置于策略网络内部作为预测性约束，而非作为额外的生成输出，同时在推理时保留直接的动作生成接口。

FLARE 确立了核心设计：在动作 token 序列末尾追加可学习的未来 token，并使其通过同一 DiT 传播。在某一内部层，这些未来 token 的激活经 MLP 投影后被监督以匹配由冻结教师编码器编码的真实未来观测的视觉嵌入——从而有效地迫使策略的内部表征去预判动作执行之后世界将会是什么样子。这一对齐损失自然地扩展到无动作视频数据：在仅有视频时单独施加该损失（不施加动作目标），允许策略从纯视频演示中学习潜在世界动力学。

经典论文：FLARE: Robot Learning with Implicit World Modeling — 与WAM的关系及核心创新：统一流隐式未来预测的奠基设计；以可学习未来 token 经 DiT 传播后对齐冻结教师编码器的未来视觉嵌入，将世界建模内化为策略网络的预测性约束，并自然支持无动作视频训练。

FRAPPE 将该方法发展为一种后训练配方：在冻结的 RDT 主干上引入多个对齐专家。一种"前缀与 LoRA 混合"（Mixture-of-Prefix-and-LoRA）的表述为每个专家指派不同的教师表征，并由轻量路由器聚合其输出。为稳定多专家训练，FRAPPE 先进行一个全参数对齐到单一蒸馏教师的中期训练阶段，再扩展到并行的参数高效设置——证明隐式对齐可通过分阶段训练模块化组合，而无需从头联合训练。

多流（Multi-Stream）

第二族将世界-动作耦合置于持久性架构分解的层面。在这些方法中，世界建模与动作生成不再被吸收进一个同构的预测主干；相反，联合预测计算被分散到多个协调的分支、流、专家或"共享编码器-分离解码器"组件上，而这些组件间的交互本身必须被架构化地指定。本族的核心架构问题从"如何为单一引擎格式化数据"转向"不同的计算通路应如何交换信息，同时仍能作为一个统一的预测系统同步运作"。我们按其主导的耦合接口将多引擎架构分为三类：（1）交叉注意力耦合（Cross-Attention Coupling），（2）隐状态耦合（Hidden-State Coupling），（3）共享表征（Shared Representation）。

（1）交叉注意力耦合（Cross-Attention Coupling）

本族将世界建模与动作生成指派给两个结构上独立的分支——一个 Video DiT 与一个 Action DiT——并通过二者之间显式的交叉注意力实现耦合。与单一 DiT 方法中世界与动作共享同一 DiT 块不同，此处的交互是一个显式的架构设计对象：每个分支保持自身的生成通路，同时通过专用注意力机制持续地与对方交换信息。

若干工作在实例化这一双分支模式的同时探索了耦合机制与世界表征上的不同设计选择。CoVAR 通过引入专用的 Bridge Attention 模块来处理：该模块将视频与动作特征拼接，执行联合注意力，再将结果拆分回各自的流。由此，视频与动作分支在结构上保持分离，同时在生成过程中反复交换信息。

经典论文：CoVAR: Co-generation of Video and Action for Robotic Manipulation via Multi-modal Diffusion — 与WAM的关系及核心创新：多流交叉注意力耦合的代表；以 Bridge Attention 模块在视频与动作 DiT 间反复拼接-联合注意力-拆分，使两分支结构独立而信息持续互通。

LDA-1B 采取了不同路线：它不设专用耦合模块，而是将两种模态吸收进一个共享的 MM-DiT 注意力层并施以模态专用投影，使两条流在表征上保持区分但在共享自注意力内部交互。在世界表征上，它在结构化的 DINO 潜在空间而非视频 VAE 潜在空间中预测未来状态。监督按数据质量分层：高质量轨迹用于策略与动力学，较低质量用于动力学与预测，无动作视频仅用于预测。为在同一架构内支持这些不同模式，LDA-1B 引入可学习的任务嵌入与模态专用 register token，使同一主干能在策略、动力学或预测任务间切换而无需改变网络拓扑。

经典论文：LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion — 与WAM的关系及核心创新：以共享 MM-DiT 注意力层+模态专用投影耦合双流；将世界表征从 VAE 潜在迁至结构化 DINO 潜在空间，并以任务嵌入与 register token 支持按数据质量分层的多模式切换。

DUST 采用相似的 MM-DiT 结构，但识别出一个进一步的自由度：两种模态不必共享相同的生成动力学。它以独立的噪声时间步扰动世界与动作，在联合目标内以分离的流匹配损失分别优化，并在推理时按异步调度采样，在解耦二者去噪轨迹的同时保留每个块内的跨模态耦合。

经典论文：DUST: Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model — 与WAM的关系及核心创新：在 MM-DiT 双流结构上引入独立噪声时间步与异步采样调度，解耦世界与动作的去噪轨迹同时保留块内跨模态耦合。

后续一条工作线不再依赖定制耦合模块，而是收敛于以混合专家 Transformer（Mixture-of-Transformers）作为统一耦合基底：世界与动作潜在变量经由模态专用的 DiT 通路处理，并通过共享注意力交互。在这共享的架构基础之上，设计问题从"如何耦合两条流"转向"耦合后的系统应提供何种额外能力"。

LingBot-VA 聚焦于 rollout 步骤间的时间接地：将视频潜在与动作 token 交错为自回归序列，并为 MoT 配合一个跨分块累积完整交错历史的 KV-cache，在持续闭环执行中保持因果一致性。其部署管线进一步引入异步预测与执行，以及反馈接地的前向动力学更新，使新接收到的真实观察能在预测下一分块前被纳入。

DexWorldModel 沿用相同的自回归 MoT 结构，但针对其内存开销：以双状态 TTT（Test-Time Training）记忆取代不断增长的 KV-cache，将长期观测与短期预测潜在分离；同时将世界表征从 RGB 迁至 DINOv3 语义特征，降低对任务无关视觉变化的敏感度。

经典论文：DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks — 与WAM的关系及核心创新：以双状态 TTT 记忆替代增长中的 KV-cache 分离长期观测与短期预测潜在，并将世界表征迁至 DINOv3 语义特征以抑制任务无关视觉扰动。

AIM 转向两分支间的接口设计：一个意图-因果注意力掩码（intent-causal attention mask）阻止动作 token 直接关注未来 RGB token，使未来信息仅通过预测出的、定位任务相关接触与放置区域的价值图（value maps）抵达动作头。

经典论文：AIM: Intent-aware Unified World Action Modeling with Spatial Value Maps — 与WAM的关系及核心创新：以意图-因果注意力掩码切断动作 token 对未来 RGB 的直接关注，令未来信息仅经空间价值图间接抵达动作头，实现意图感知的耦合。

Being-H0.7 针对联合预测中固有的训练-推理不对称：训练时世界分支显式生成未来表征并通过对齐损失将其蒸馏进潜在查询；推理时丢弃世界分支，仅保留潜在查询，以大幅降低的推理成本取得具竞争力的性能。

双流 MoT 表述允许一种自然扩展：除耦合世界与动作外，还可向共享注意力中引入额外的模态专家，使 MoT 成为更通用的多专家协调框架。Motus 以此方式实例化：加入一个源自预训练 VLM 的语义理解专家，使世界、动作与语义理解三分支通过三模态联合注意力（Tri-modal Joint Attention）交互；一个 UniDiffuser 式调度器为每个模态指派独立噪声水平，使统一架构能在 VLA、世界模型与逆动力学等多种功能模式上运作。

经典论文：Motus: A Unified Latent Action World Model — 与WAM的关系及核心创新：将双流 MoT 扩展为三专家协调框架，引入源自 VLM 的语义理解专家并经三模态联合注意力交互；以 UniDiffuser 式逐模态噪声调度支持 VLA/世界模型/逆动力学多模式。

MotuBrain 进一步强化语言分支：赋予文本 token 在多模态注意力中的显式参与权，而非将其视为外部条件信号；为平衡耦合强度与效率，完整联合注意力仅施加于中间层，而外层在 H-bridge 结构中保持部分解耦，并通过在共享空间坐标系内指派视点相关的 3D RoPE 偏移来支持多视角输入。

AdaWorldPolicy 则引入力预测器作为第三个专家，将额外分支从语义接地转向物理交互建模；三个专家均实现为围绕预训练 Cosmos-Predict2 主干构建的流匹配 DiT，并通过多模态自注意力相连，训练在动作生成与未来想象两种模式间交替；部署时，想象状态与观测状态及力读数之间的偏差作为 LoRA 在线自适应的自监督信号。

经典论文：AdaWorldPolicy: World-Model-Driven Diffusion Policy with Online Adaptive Learning for Robotic Manipulation — 与WAM的关系及核心创新：将第三专家设为力预测器，三专家以流匹配 DiT 围绕 Cosmos-Predict2 经多模态自注意力相连；以想象-观测-力读数的偏差作为 LoRA 在线自适应的自监督信号。

（2）隐状态耦合（Hidden-State Coupling）

多流的第二种模式通过从一个分支向另一个分支传递的中间表征来耦合世界建模与动作生成。在此族中，两个组件仍被指派给分离的主干，但核心交互不再是经反复跨分支交换实现的持续性分支级协同生成。相反，世界分支产生时间信息丰富的内部表征——如想象的潜在轨迹、多尺度转移特征或去噪隐状态——再由动作分支将其作为控制预测的条件信号。与交叉注意力耦合相比，此处的耦合围绕"从世界模型向动作模型的内部状态传递"组织，而非生成过程中并行分支间的持续交互。

DiT4DiT 通过配对的 Video DiT–Action DiT 架构实例化这一点：动作分支以视频分支在未来帧去噪过程中提取的中间隐状态为条件。一个 hook 算子在选定的特征提取时间步拦截某一 transformer 块（或跨层聚合）的隐激活，并通过交叉注意力连同本体状态嵌入与带噪动作 token 传递给 Action DiT。为协调两模块，三时间步（tri-timestep）设计独立采样视频预测时间步与动作时间步，同时固定隐状态提取时间步以稳定条件信号；推理时，动作预测同样依赖单一确定性提取步骤而非完整视频采样循环。

经典论文：DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control — 与WAM的关系及核心创新：以 hook 算子在固定提取时间步拦截视频分支隐状态，经交叉注意力条件化动作 DiT；三时间步设计解耦视频/动作去噪并稳定隐状态条件，推理仅需单次确定性提取。

Fast-WAM 追求相关设计但以推理效率为首要关切：训练时在 Video DiT–Action DiT 的 MoT 内保留视频分支作为未来视频流匹配目标，并用结构化掩码阻止动作 token 关注未来视频潜在；推理时则完全移除未来视频分支，Video DiT 仅以单次前向编码当前视觉上下文，其潜在世界特征条件化动作去噪。由此隐状态接口作为训练时的耦合机制被保留，而其推理时成本被消除。

经典论文：Fast-WAM: Do World Action Models Need Test-time Future Imagination? — 与WAM的关系及核心创新：训练时保留视频分支并以结构化掩码隔离动作 token 对未来视频潜在的关注，推理时整支移除未来视频分支、仅以单次前向编码当前视觉上下文条件化动作去噪，消除隐状态接口的推理时成本。

WAV 通过在潜在未来预测与动作解码之间引入显式的轨迹-价值分支扩展了这一单向"世界→动作"接口。其视频模块生成潜在未来视觉 rollout，价值模块通过交叉注意力评估这些 rollout，动作解码器同时以视觉 rollout 特征与价值嵌入为条件。推理时，该接口被转化为隐式规划：以得分最高的样本迭代更新视频与价值的噪声分布，使动作从价值塑形后的潜在未来中解码，而无需外部规划器。

Act2Goal 围绕不同目标组织隐状态耦合：它并非改进所传递表征的保真度或效率，而是用耦合来支持长时程目标导向行为。世界分支以当前观测与目标图像为输入，生成一串代表向目标视觉进展的中间潜在帧；动作分支则通过交叉注意力以这些想象转移的多尺度时间特征为条件预测动作。其核心组件是多尺度时间哈希（Multi-Scale Temporal Hashing），将预测的视觉状态与动作组织为近端-远端（proximal–distal）时间结构：近端帧与动作保持密集以支持短时程闭环控制，而远端帧与动作以对数增长的间隔稀疏化以保持长时程目标一致性。除在联合视觉-动作流匹配目标下的离线训练外，Act2Goal 还通过 HER 式目标重标注与 LoRA 微调支持无奖励的在线改进。

经典论文：Act2Goal: From World Model to General Goal-Conditioned Policy — 与WAM的关系及核心创新：以隐状态耦合支撑长时程目标导向行为；多尺度时间哈希将近端密集、远端对数稀疏化，并通过 HER 重标注与 LoRA 支持无奖励在线改进。

（3）共享表征 / 统一编码器（Shared Representation）

多流的第三种模式将世界-动作整合置于共享表征空间或统一编码器中，而非持久的分支级交互或从一个分支向另一个传递中间隐状态。在此族中，视觉观测与动作先被融合进共同的潜在基底并在其中联合处理，随后由模态专用解码器或输出头恢复世界侧与动作侧预测。因此关键的架构区别在于：在统一表征层面进行联合建模，而将模态特化推迟到后续解码阶段。

UVA 将历史观测与动作分块连同被掩码的未来观测 token 一起编码进共享 Transformer 主干，在未来预测跨度上将未来视频与动作信息组织进统一潜在。这些共享潜在 token 随后由两个轻量扩散头解码：视频扩散头逐 token 重建未来观测，动作扩散头聚合每个未来步骤的潜在 token 并预测对应动作分块。两条解码通路被联合训练但在推理时保持解耦，因此策略执行可绕过视频生成、直接从共享潜在解码动作。UVA 进一步采用具有灵活输入-输出配置的掩码训练方案：未使用的组件由可学习 mask token 替换，损失按所选目标施加，使同一主干可通过掩码不同组件（而非切换任务嵌入或模态调度）充当策略模型、视频模型、前向/逆向动力学模型或策略-规划器组合。

PhysGen 在基于预训练自回归视频主干（NOVA）构建的连续自回归框架内采用相同的共享表征逻辑。它将观测与动作分块分别 tokenize 为帧 token 与动作 token，拼接为共享的物理 token，并通过统一的因果 Transformer 建模联合未来动力学。所得 token 经分离通路解码：帧 token 由继承的视频 de-tokenizer 重建，而动作 token 由一个轻量 Action-DiT 经交叉注意力以自回归上下文为条件解码。因果掩码方案进一步允许动作 token 单向关注帧 token，使预测的未来视觉状态为动作生成提供信息；Lookahead 多 token 预测在每个自回归步骤并行生成多个未来动作 token，而推理时仅执行第一个。

经典论文：PhysGen: Learning Physics from Pretrained Video Models — 与WAM的关系及核心创新：共享表征/统一编码器范式的代表；在 NOVA 自回归视频主干上将观测与动作 token 化并拼为共享物理 token，经统一因果 Transformer 建模联合动力学，再由分离通路解码，并以因果掩码使动作单向关注未来帧、以 Lookahead 多 token 预测加速。

表 3 汇总了本节综述的扩散式生成类方法（"参数量"报告主干规模或论文/本地阅读报告中明确给出的模块尺寸；"N/A"表示当前证据库中未明确给出清晰参数数字）。

表 3　扩散式生成类联合 WAM 方法汇总

模型	参数量	主干	I/O 模态	评估
统一流：显式未来预测
PAD	N/A	ImageNet 初始化 DiT	观测、位姿、可选深度、文本 → 未来图像、深度、动作	Sim: MetaWorld；Real: Panda
VideoVLA	5B	CogVideoX-5B	观测、文本 → 未来视频潜在、动作	Sim: SIMPLER；Real: Realman
UWM	N/A	单一 DiT	观测 → 未来图像潜在、动作	Sim: LIBERO；Real: Franka
DreamZero	14B	Wan2.1-I2V-14B-480P	观测、文本、本体状态 → 未来视频帧、动作	Sim: PolaRiS、GenieSim3.0；Real: AgiBot-G1、Franka
Cosmos Policy	2B	Cosmos-Predict2-2B	观测、文本、本体状态 → 未来视频潜在、动作、价值	Sim: LIBERO、RoboCase；Real: ALOHA
GigaWorld-Policy	5B	Wan 2.2-5B	观测、文本、本体状态 → 未来视频潜在、连续动作	Sim: RoboTwin 2.0；Real: AgileX PiPER 6-DoF
X-WAM	5B	Wan2.2-TI2V-5B	观测、文本、本体状态 → 未来 RGB-D 视频、状态、动作	Sim: RoboCasa、RoboTwin 2.0；Real: AC One
统一流：隐式未来预测
FLARE	N/A	GR00T 式策略 DiT	观测、文本、本体状态 → 未来潜在、动作	Sim: RoboCasa、GR-1 tabletop；Real: GR1 人形
FRAPPE	1B	RDT-1B	观测、文本、本体状态 → 未来表征、动作	Sim: RoboTwin 2.0；Real: AgileX
多流：交叉注意力耦合
CoVAR	N/A	Open-Sora 1.2	观测、文本、本体状态 → 未来视频帧、动作	Sim: CALVIN、Libero90；Real: UR5
LDA-1B	1.6B	Qwen3-VL-4B-Instruct + DINOv3-ViT-s	观测、文本 → 未来观测、动作	Sim: RoboCasa-GR1；Real: Galbot G1、Unitree G1
DUST	N/A	Eagle-2	观测、文本、本体状态 → 未来观测、动作	Sim: RoboCasa、GR-1；Real: Franka Research 3
LingBot-VA	5.3B	Wan2.2-5B	观测、文本、动作历史 → 未来视频潜在、动作	Sim: Robotwin 2.0、LIBERO；Real: Franka
DexWorldModel	N/A	DINOv3 + Wan2.2-5B	观测、文本、动作历史 → 未来潜在特征、动作	Sim: RoboTwin；Real: Agilex CobotMagic
AIM	N/A	Wan2.2-TI2V-5B	观测、文本、动作历史 → 未来 RGB 帧、空间价值图、动作	Sim: RoboTwin 2.0；Real: —
Motus	8B	Wan2.2-2B + Qwen3-VL-2B	观测、文本 → 未来视频潜在、动作	Sim: Robotwin 2.0、LIBERO-Long；Real: AC-One、Aloha-2
MotuBrain	N/A	Vidu	观测、文本 → 未来视频潜在、动作	Sim: RoboTwin 2.0、WorldArena；Real: 人形平台
AdaWorldPolicy	2.8B	Cosmos-Predict2	观测、文本、本体状态 → 未来视频帧、动作、力	Sim: LIBERO-10、Variant PushT、CALVIN；Real: INOVO
UD-VLA	8B	Emu3	观测、文本 → 未来视觉 token、离散动作	Sim: CALVIN、LIBERO、SimplerEnv；Real: UR5e
多流：隐状态耦合
DiT4DiT	N/A	Cosmos-Predict2.5-2B	观测、文本、本体状态 → 未来视频潜在、动作	Sim: LIBERO、RoboCasa-GR1；Real: Unitree G1
Fast-WAM	6B	Wan2.2-5B	观测、文本 → 潜在世界特征、动作	Sim: RoboTwin 2.0、LIBERO；Real: Galaxea R1 Lite
WAV	2.2B	Genie Envisioner	观测、文本 → 未来视觉轨迹、轨迹价值、动作	Sim: LIBERO；Real: Piper
Act2Goal	1.76B	Genie Envisioner	观测、目标图像、本体状态 → 未来视频潜在、动作	Sim: Robotwin 2.0；Real: AgiBot Genie-01
多流：共享表征
UVA	0.5B	共享 Transformer	观测、可选文本、动作历史 → 未来图像潜在、动作	Sim: PushT/PushT-M、ToolHang、LIBERO-10；Real: ARX X5
PhysGen	0.73B	NOVA	观测、文本、动作历史 → 未来视频帧、动作	Sim: LIBERO、ManiSkill；Real: Franka Panda

---

第5章 训练数据：驱动WAM的数据生态

“训练鲁棒且可泛化的世界动作模型（WAMs），从根本上受限于具身数据的可用性与质量。”

与可从互联网被动爬取文本的大语言模型不同，世界动作模型（World Action Models, WAMs）必须建立在**严格的物理接地（physical grounding）**之上：它需要捕捉复杂的状态转移、动作条件化（action conditioning）以及直觉物理（intuitive physics）。更重要的是，WAMs 的数据需求与传统的机器人学习范式存在根本性分歧，这种分歧恰恰构成了 WAM 相对于纯 VLA 与纯世界模型的独特价值。本章将系统梳理驱动 WAM 训练的四大数据范式，并剖析其背后的迁移-扩展权衡（trade-off）。

5.1 数据需求的根本分歧：为什么 WAM 需要不同的数据

理解 WAM 的数据生态，首先要理解它所 reconciles 的两种极端数据需求。

5.1.1 两种传统范式及其数据瓶颈

标准 VLA 模型严格要求配对的 $(o_t,a_t)$ 轨迹数据，即"观测-动作"对。这类数据必须通过遥操作（teleoperation）等方式采集，成本高昂且极其稀缺，严重限制了模型的可扩展性。VLA 学到的是一种**反应式（reactive）**的"观测到动作"映射，却不显式建模物理世界在干预下如何演化。

**纯世界模型（Pure World Models）**则恰好相反，它依赖无动作的 $(o_t,o_{t+1})$ 视频序列——这类数据可从互联网视频中近乎无限地获取，但缺乏物理控制意义上的接地：模型能看到"世界如何变化"，却不知道"如果我去干预，世界会如何变化"。

用公式表达这两种范式的学习目标：

• VLA：学习 $a_t=\pi (o_t)$，需要配对的 $(o_t,a_t)$；
• 纯世界模型：学习 $o_{t+1}=g(o_t)$，仅需视频序列 $(o_t,o_{t+1})$，无需动作。

5.1.2 WAM 的统一数据消化能力

WAM 的独特优势正在于其**统一的数据消化（unified data digestion）**能力。它独特地受益于这两类数据的交集：

1. 利用高质量的 $(o_t,a_t,o_{t+1})$ 三元组（triplets）紧密耦合其内部表征，从而同时建模"状态如何转移"与"动作如何驱动转移"，即学习 $o_{t+1}=f(o_t,a_t)$；
2. 同时具备架构灵活性，可通过联合训练（joint training）策略吸收海量的无配对数据（例如用无动作视频学习视觉物理先验）。

因此，构建 WAM 的数据生态绝非单纯地扩大机器人数据规模，而是要战略性地混合严格耦合的演示数据与无约束的观测数据。这正是本章的核心论点。

5.2 数据全景：迁移难度与扩展难度的二维映射

图 7 将四大数据范式映射到一个二维平面上：

• Y 轴（迁移难度，Transfer Difficulty）：从"易匹配（Easy to Match）“到"难匹配（Hard to Match）”，衡量将该数据迁移到真实机器人控制所需的代价。真实机器人遥操作数据几乎零 sim-to-real gap，最易匹配；而互联网人类/自我中心视频由于形态、视角、物理差异巨大，最难匹配。
• X 轴（扩展难度，Scaling Difficulty）：从"廉价/可扩展（Cheap/Scalable）“到"昂贵/复杂（Expansive/Complex）”，衡量获取大规模数据的成本。互联网视频最易扩展；遥操作数据因依赖人工则最难扩展。

四大范式在该平面上的分布勾勒出 WAM 数据生态的全貌：

数据范式	迁移难度	扩展难度	核心特征
机器人中心遥操作（Sec. 5.3）	易匹配	昂贵/复杂	高质量、复杂设置、精确运动学接地
便携式人类演示（Sec. 5.4，UMI 风格）	中等	较易	良好保真度、低设置成本
仿真数据（Sec. 5.5）	较难（domain gap）	易扩展	无限过程式变化、特权空间监督
人类与自我中心数据（Sec. 5.6）	难匹配	极易扩展	海量规模、被动的世界动力学先验

研究者正越来越多地利用这些数据集的互补混合（complementary mixture），来弥合"精确的低层机器人控制"与"广泛的开放世界泛化"之间的鸿沟。下面逐一展开。

5.3 机器人中心遥操作数据（Robot-Centric Teleoperation）

遥操作至今仍是获取高质量专家轨迹数据最可靠、最普遍的范式之一。在这一设置下，人类操作员通过远程控制接口操纵机器人，记录连续的感官观测、本体感觉状态（proprioceptive states）以及对应的可执行动作。

对 WAM 而言，机器人中心数据集扮演着不可替代的角色：它们提供了严格对齐、高频的动作-状态对，用于学习精确的、动作条件化的物理动力学，且几乎不存在 sim-to-real gap。随着机器人硬件与学习算法的协同演化，这些数据集的构建沿着两条战略性的轨迹推进：向开放世界多样性扩展（scaling up），以及深化感官感知的物理接地（deepening perception）。

5.3.1 规模化：形态覆盖、多样性与自动化增强

第一条轨迹旨在通过大幅提升数据规模、环境变化与形态覆盖（embodiment coverage），打破封闭世界假设（closed-world assumption）。

早期里程碑：QT-Opt 与 MT-Opt 成功证明了大规模自监督轨迹数据采集的可行性；与此同时，RoboNet 与 MIME 迈出了跨机器人、跨领域泛化的关键第一步。但这些早期集合大多局限于孤立的实验室环境，且仅覆盖短时程、原始技能。

经典论文：QT-Opt — 与WAM的关系及核心创新：QT-Opt 是基于视觉的机器人操控中规模化深度强化学习的奠基之作，通过分布式采集与自监督得到 58 万条轨迹，证明了大规模真实机器人数据可以让基于视觉的抓取策略达到工业级可靠性，为后续"数据规模化"路线提供了首个实证范本。

迈向开放世界：后续工作刻意瞄准语义多样性与序列推理能力。BridgeData、BC-Z、RT-1 与 Language-Table 将重心转向多样化家庭场景中的语言条件任务。语言指令的引入对 WAM 至关重要——它为模型提供了语义锚点（semantic anchors），帮助世界模型将视觉状态转移接地到广义的人类概念之中。与此同时，TACO-RL 与 RH20T-P 强调长时程推理与层次化任务分解，迫使模型预测更长的未来状态序列。

经典论文：RT-1 — 与WAM的关系及核心创新：RT-1（Robotics Transformer）以 13 万+ 真实机器人轨迹训练，展示了 Transformer 在大规模真实世界机器人策略上的有效性，并将语言指令作为任务条件。它为后续 RT-2、OpenVLA 等 VLA/WAM 工作确立了"语言条件 + 真实数据 + Transformer"的范式基线。

大规模多平台聚合：这一规模化趋势最终汇聚为海量、多平台的聚合数据集。Open-X Embodiment（OXE）在 22 台机器人上统一了超过 100 万条轨迹，ARIO 与 RoboMIND 将这一统一策略进一步推进；与此同时，DROID 等真实野外（in-the-wild）采集大幅扩展了场景多样性，而最新的 UnifoLM-WBT 将该范式推广到高自由度人形机器人（humanoid）形态。对 WAM 而言，这种极端的形态多样性是变革性的：它迫使世界模型将通用物理法则与特定机器人运动学解耦，从而实现稳健的、与形态无关（embodiment-agnostic）的泛化。

经典论文：Open-X Embodiment (OXE) — 与WAM的关系及核心创新：OXE 联合多家机构将 22 个机器人、逾百万条轨迹统一为单一数据格式，是跨形态机器人学习数据标准化的里程碑。对 WAM 而言，它提供了训练"与形态无关"世界模型所需的海量异构 $(o_t,a_t)$ 数据，是迈向通用具身基础模型的数据底座。

绕开人工瓶颈的替代采集机制：为绕开手动、目标导向遥操作固有的体力劳动与标注瓶颈，规模化路线日益拥抱替代性的数据获取机制。其一是利用非结构化的"游戏式（play-based）"数据源——例如 Jaco Play 展示了如何在无 rigid 任务定义的情况下采集连续的、任务无关的交互先验，为 WAM 提供关于物体如何响应任意力的广泛探索性知识。

其二是生成式与自动化增强作为强大的规模化引擎。Grasp-Anything 借助视觉基础模型将抓取数据生成式地扩展到百万级；Interleave-VLA 通过自动化图文交错（image-text interleaving）激进扩展监督空间；在三维领域，UniVoxGen Dataset 通过大规模合成式体素（voxel）生成扩展空间推理。多机器人聚合、非脚本探索与自动化生成的结合，为用近乎无限的数据饱和 WAM 训练建立了一条可持续路径。

下表（对应论文 Table 4）精简汇总了本章涉及的机器人中心操控数据集。其中"模态（Modality）"列含义：RGB（视觉）、P（本体感觉）、D（深度）、A（音频）、PC（点云）、T（触觉）。

名称	年份	规模	形态	采集方式	模态
QT-Opt [112]	2018	580k traj.	KUKA LBR iiwa	script	RGB
MIME [113]	2018	8,260 traj.	Baxter	视觉演示	RGB, D, P
RoboNet [114]	2019	~162k traj.	7 robots	script	RGB, P
BridgeData [116]	2021	7.2k traj.	WidowX250s	teleop.	RGB, text
MT-Opt [117]	2021	800k traj.	KUKA IIWA	script	RGB, text
BC-Z [118]	2021	25.9k traj.	Everyday Robots	teleop.	RGB, text
RT-1 [119]	2022	130k+ traj.	Everyday Robots	teleop.	RGB, text
Language-Table [120]	2022	594k traj.	xArm6	teleop.	RGB, text
BridgeData v2 [121]	2023	60k+ traj.	WidowX 250	teleop., script	RGB, D, text
RH20T [124]	2023	110k traj.	4 robots	teleop.	RGB, D, text
OXE [125]	2023	1M+ traj.	22 robots	teleop., script, manual	RGB, D, text, PC
DROID [126]	2024	76k traj.	Franka	teleop.	RGB, D, text
RoboMIND [128]	2024	107k traj.	4 robots	teleop.	RGB, P, text
ARIO [129]	2024	3M+ traj.	35 robots	aggregation, teleop.	RGB, D, A, T, text
DexCap [131]	2024	787 traj.	Franka	动作捕捉	RGB, D, PC, P
AgiBot World [133]	2025	1M+ traj.	AgiBot G1	teleop.	RGB, D, T, P, text
UnifoLM-WBT [136]	2026	1,892,118 traj.	Unitree G1 人形	LeRobot 框架	RGB, P

5.3.2 深化感知：多模态与富接触接地

与规模扩展并行，第二条关键轨迹旨在解决纯视觉（RGB）感知的部分可观测性瓶颈。在复杂物理环境中，许多状态转移在视觉上是模糊的或被遮挡的。为捕捉细微的物理交互，近期数据集系统地集成了更密集的多模态信号。

音频与复杂材料动力学：Berkeley UR5 与 OmniAction 引入音频模态，捕捉对材料识别与冲击验证至关重要的声学特征。建模复杂材料的动力学仍是公认难题——TOTO 专门针对倾倒液体、与透明物体交互等视觉模糊任务；Cable Routing Dataset 与 REASSEMBLE 则瞄准复杂可变形物体操作与紧公差物理装配。

三维几何与多视角：为对抗遮挡、提升空间理解，三维几何愈发受到重视。RH20T、Robo360 与 RoboData 强调密集多视角采集与校准的三维点云对齐，确保策略能学到独立于单一相机角度的稳健物理表征。

触觉与灵巧操作：最近的前沿大力推向高保真触觉反馈与灵巧操作监督。RoboSet 强调带铰接物体的力约束操作；DexCap 捕捉与机器人观测空间对齐的细粒度灵巧人手运动；FuSe 与 AgiBot World 则将显式的视触觉（visuotactile）传感器与动态双臂协同结合。

这些多模态数据集对 WAM 是根本性的。它们让模型内化那些无法仅从二维视觉外观数学推导的直觉性、低层物理——如接触力旋量（contact wrenches）、滑动摩擦、质量分布与局部形变——从而弥合高层推理与物理执行之间的关键鸿沟。

5.4 便携式人类演示数据（UMI 风格）

尽管机器人中心遥操作数据集质量很高，它仍面临持续瓶颈：数据采集成本高、局限于受限实验室环境、形态多样性有限。这些约束限制了模型接触 WAM 所需的广阔、无约束世界动力学的机会。为克服这一点，研究者重新思考数据采集接口，转向便携、低成本的人类演示范式，在结构化的机器人遥操作与多样化的互联网视频之间架起桥梁。

5.4.1 UMI 范式的奠基

通用操作接口（Universal Manipulation Interface, UMI）代表了这一方向的里程碑。通过一个轻量、手持的 3D 打印夹爪配合可穿戴相机，UMI 让非专业用户也能直接在日常生活、野外环境中采集操作轨迹。借助基于视觉的跟踪与重定向（retargeting），人类演示被对齐为机器人可执行的动作。

经典论文：UMI（Universal Manipulation Interface，137） — 与WAM的关系及核心创新：UMI 提出一个手持式 3D 打印夹爪 + 可穿戴相机的便携采集接口，让非专家在真实世界中采集操作演示，并通过视觉跟踪与重定向将人类动作对齐为机器人可执行动作。对 WAM 而言，它打通了"高保真动作接地"与"野外环境多样性"之间的数据通道，是介于遥操作与互联网视频之间的关键中间范式。（注：此处引用编号 137 在 references.json 中未给出 arXiv URL，链接为常用 arXiv 地址以供参考。）

5.4.2 UMI 生态的快速演化

在基础硬件之上，UMI 生态快速演化以扩展所采数据的感官模态与任务复杂度。FastUMI 将流水线优化为可规模化、海量数据集构建；后续扩展系统性地通过引入主动感知、关键触觉反馈与多视角视觉观测来增强数据。此外，该范式已超越简单的平行夹爪，扩展到捕捉高自由度灵巧操作与全身移动协同。

对 WAM 训练而言，这一演化确保便携式演示数据能提供建模真实世界物理所需的多模态、富接触与复杂动作轨迹。

5.4.3 从概念验证到海量野外语料

因此，UMI 风格数据集已迅速从小型概念验证集合演化为海量野外语料，如下表（对应论文 Table 5）所示。早期发布主要用于验证硬件范式，而近期工作则为通用策略学习提供了无可比拟的资源。

"模态"列含义：RGB、P（本体感觉）、D（深度）、IMU、T（触觉）、text。

名称	年份	规模	任务数	环境	形态	采集方式	模态
FastUMI-Data [138]	2024	10K+ traj.	22	-	xArm 6	人类演示	RGB, P, text
FastUMI-100K [139]	2025	100K+ traj.	54	5	xArm6, Flexiv Rizon4	人类演示	RGB, P, text
RealOmin [140]	2025	1M traj.	30	3000+	-	人类演示	RGB, P, IMU, T, text
Hoi! [141]	2025	3,048 traj.	-	38	-	人类演示、teleop.	RGB, D, P, T
RDT2 [142]	2026	10,000 小时	52+	100+	-	人类演示	RGB, D, P

其中，FastUMI-100K 将轨迹数推过 10 万并配以丰富的多模态文本标注；RealOmin 代表了质的飞跃——在超过 3000 个多样化家庭环境中采集的百万级数据集，捕捉丰富的本体感觉、IMU 与触觉信号；Hoi! 明确瞄准跨视角与力感知操作，对 WAM 学习直觉物理与接触动力学至关重要；而伴随 RDT2 的数据集则在数百个真实场景中提供约 1 万小时演示。

对 WAM 的推进而言，这些大规模便携数据集扮演着关键桥梁：它们既拥有自我中心人类视频那种巨大的环境与情境多样性，又严格配以高频、厘米级的动作约束。这一独特组合让 WAM 能够在无约束物理环境中学习高度稳健的、动作条件化的状态转移动力学——这种能力几乎无法仅从传统机器人中心数据集中获得。

5.5 仿真数据（Simulation Data）

仿真为真实世界数据采集提供了一个可扩展、完全可控且确定性的替代方案。对 WAM 训练而言，仿真的根本价值远超降低成本：物理引擎本质上就是一个精确的计算式世界模型。与饱受部分可观测性与感官噪声之苦的真实世界数据集不同，仿真环境提供特权信息（privileged information）——完美的深度、精确的 6D 物体位姿、精确的碰撞边界以及无遮挡的多视角状态。通过在仿真数据上训练，WAM 不仅是在复制轨迹，更是在直接从渲染与物理引擎（如 MuJoCo、Isaac Sim、SAPIEN）中蒸馏直觉物理的基本定律。

5.5.1 规模化：过程式生成与环境复杂度

仿真最直接的优势是绕开遥操作的体力劳动瓶颈，能同时扩展数据量、环境多样性与任务复杂度。

早期基础框架如 ManiSkill2 为操控提供了统一的高性能基准。在此基础上，MimicGen 与 DexMimicGen 证明：最少的人类演示即可被过程式地扩展为跨任务、跨双臂机器人设置的数万条多样轨迹。随着仿真引擎成熟，近期数据集将这种规模化推向极致：InternData-A1 将自动轨迹合成扩展到数百环境下的 63 万+ 轨迹；SynGrasp-1B 借助 Isaac Sim 与 MuJoCo 生成前所未有的 1000 万条抓取轨迹，反映出鲁棒预训练所需的巨大数据胃口。

与此同时，规模化已从纯数量扩展到序列与语义复杂度。RoboCasa 在 120 个真实厨房场景中引入 10 万+ 轨迹的巨大环境多样性；RoboCerebra 通过密集子任务指令标注强调长时程操作；QUARD-Auto 则将形态范围拓宽到四足机器人的多任务学习。对 WAM 而言，这种长时程任务与无限场景变化的自动扩展，对学习跨时间步稳定、不漂移的状态转移至关重要。

5.5.2 时空动力学：三维与四维具身建模

真实视频数据的核心局限在于因 2D 相机投影与动态遮挡造成的三维空间信息丢失。仿真通过提供精确的空间真值规避了这一点，催生了一条专门面向空间与时间世界建模的数据轨迹。

TesserAct 是这一方向的重大里程碑，提供 28.5 万条对齐的 RGB、深度与表面法线视频片段，明确瞄准四维（3D 空间 + 时间）具身世界建模。InternData-M1 则用完美对齐、密集的帧级 2D/3D 边界框、分割掩码与显式抓取点来补充大规模轨迹数据。RoboTwin 2.0 利用高保真 3D 资产（如来自 Objaverse）配合照片级真实渲染，生成真实物体的数字孪生。对 WAM 而言，这些数据集价值非凡——它们提供了理解物体几何与三维场景如何在特定机器人动作下变换所需的密集空间监督，使模型能从 2D 像素预测跃迁到真正的三维空间动力学。

5.5.3 富接触物理：高保真触觉监督

虽然刚体运动学仿真已很成熟，但仿真接触动力学——如摩擦、软体形变与触觉反馈——历来是挑战。然而，随着 WAM 追求掌握富接触操作，显式的力与触觉先验变得不可或缺。物理引擎的最新进展（如 NVIDIA FleX）已开始解锁这一能力。

TLA Dataset 是该领域的先驱性工作，通过为指尖装配任务提供对齐的触觉-语言-动作（Tactile-Language-Action）三元组，将仿真监督扩展到视觉之外。通过生成合成触觉读数，仿真让 WAM 能够建模接触时发生的、不可见的亚毫米级力交互。

下表（对应论文 Table 6）汇总本章涉及的仿真数据集。"模态"列含义同前。

名称	年份	规模	任务	环境	形态	引擎	采集	模态
MimicGen [150]	2023	50k traj.	18	1	4 robots	MuJoCo, Isaac Gym	teleop., 增强	RGB
ManiSkill2 [151]	2023	4M+ frames	20	-	Franka	SAPIEN	simulation	RGB, D, PC, P
RoboCasa [152]	2024	100k+ traj.	100	120	Franka	MuJoCo	simulation	RGB
DexMimicGen [154]	2024	21,000 traj.	9	-	GR1, Panda	robosuite(MuJoCo)	real2sim2real	RGB, P
TesserAct [66]	2025	285k clips	-	-	Google Robot, Franka, WidowX 250	RLBench (CoppeliaSim)	aggregation	RGB, D
SynGrasp-1B [156]	2025	10M traj.	1	-	Franka	Isaac Sim, MuJoCo	auto-collected	RGB, D, P
RoboTwin 2.0 [157]	2025	100k+ traj.	50	-	5 robots	Isaac Sim	simulation	RGB, D, P
TLA Dataset [158]	2025	24k 触觉-动作对	-	-	带 GelStereo 2.0 夹爪	Isaac Gym + FleX	simulation	T, text
InternData-M1 [159]	2025	244k traj.	200	-	Franka	Isaac Gym	auto-collected	RGB, D, P
InternData-A1 [160]	2025	630k traj.	70	227	4 robots	Isaac Sim	simulation	RGB, P

虽然合成渲染与真实观测之间的视觉差异——即 sim-to-real gap——仍是持续挑战，但其底层物理原理（如重力、动量、不可穿透性）严格一致。通过对纹理、光照与相机参数进行大量域随机化（domain randomization）（如 SynGrasp-1B 与 RoboTwin 2.0 所示），这些仿真数据集充当了一个广阔的"物理健身房"。它们赋予 WAM 稳健的物理先验与空间推理能力，从而显著减少下游微调所需的真实世界数据量。

5.6 人类与自我中心数据（Human and Ego-Centric Data）

WAM 相对于传统 VLA 模型的一个根本优势，在于其内化可泛化世界动力学的能力。传统机器人中心数据集虽提供精确的低层动作执行，却天然受限于物理机器人的形态约束与高昂采集成本，因而对无约束真实世界物理的长尾（long tail）暴露有限。相反，互联网规模的人类与自我中心数据集（见下表 Table 7）封装了任务、环境与物理交互上近乎无限的多样性。作为真实世界先验的海量仓库，这些数据集正日益被视为训练通用 WAM 的基石。其演化可归为两条关键轨迹：从原始视觉观测中学习被动的世界动力学，以及通过人类姿态与本体感觉接地提取主动的、动作条件化的动力学。

5.6.1 被动世界建模：动作语义与视觉动力学

大量大规模视频数据集完全缺乏显式本体感觉信号，却在教授 WAM 被动的直觉物理定律方面扮演关键角色。

短时程物理事件：早期基础工作聚焦于通过短时程交互拆解物理常识。例如 SSv2 提供超 10 万个捕捉基本物理事件（如推、掉落、撕裂）的片段，迫使模型学习时序推理与基本状态转移。转向无脚本的第一人称感知，EPIC-KITCHENS 引入 55 小时长时程日常活动；EGTEA Gaze+ 则纳入显式注视追踪，为 WAM 提供操作过程中类人的视觉注意力先验。

规模化与开放世界语义：随着深度学习规模化，数据量与任务复杂度同步增长。Ego4D 是一次巨大飞跃，提供超 3600 小时无脚本自我中心视频。对 WAM 发展至关重要的是，Ego4D 引入了**情景记忆与未来预测（future forecasting）**专项基准，直接训练模型基于当前视觉上下文预测未来状态 $s_{t+1}$。为让模型接触无界开放世界语义，HowTo100M（1.36 亿片段）与 Kinetics-700 等网络规模数据集提供了海量视频-文本对齐，使 WAM 能将开放词表的语义指令接地到跨数百万实例的多样视觉状态转移中。

经典论文：Ego4D — 与WAM的关系及核心创新：Ego4D 提供逾 3600 小时无脚本第一人称视频，并首创"情景记忆"与"未来预测"等基准。对 WAM 而言，其未来预测基准直接对应世界模型的核心目标 $s_{t+1}=f(s_t)$，是训练被动世界动力学的关键大规模自我中心语料。

最近的进一步精细化包括：COM Kitchens 引入视觉动作图（visual action graphs）来刻画动作与状态变化之间的组合规则；Egocentric-10K 扩展到高精度工业工作流；DreamDojo 则以 4.4 万小时众包活动将规模推向极限。在如此海量语料上预训练，能在引入任何机器人特定动作之前，就建立起对物体持久性（object permanence）与材料属性的深度内化理解。

经典论文：DreamDojo — 与WAM的关系及核心创新：DreamDojo 以约 4.4 万小时众包人类活动视频构建通用机器人世界模型，是从大规模人类视频中蒸馏被动世界动力学的代表性工作。对 WAM 而言，它证明了无动作互联网视频可在机器人动作介入前先建立起深厚的物理先验。

5.6.2 弥合动作鸿沟：姿态估计与本体感觉接地

虽然原始视频提供了视觉常识，但学习动作条件化的动力学 $s_{t+1}=f(s_t,a_t)$ 严格需要动作输入。为绕开机器人数据的稀缺，研究者日益将人手视为一种通用末端执行器。通过对自我中心视频标注 3D 姿态与运动跟踪，这些数据集在数学上弥合了人类视频与机器人策略学习之间的鸿沟。

空间监督的奠基：Assembly101 提供数千条结构化装配视频；H2O 引入显式多视角 3D 人手与 6D 物体位姿标注，将视觉交互转化为精确的几何轨迹；EgoPAT3D 进一步聚焦未来空间预测（anticipation）。

接触物理与视角不变性：这种精度随后被扩展以捕捉复杂接触物理与视角不变理解。里程碑式的 Ego-Exo4D 数据集捕捉 1286 小时同步的自我中心与第三人称视角，迫使模型独立于相机角度理解三维空间变换。对灵巧操作，ARCTIC、HOT3D 与 TACO 提供毫米级精确的 3D 手-物网格，让 WAM 能建模复杂的力闭合（force closure）与双臂几何关系。

全局具身感知：数据集还向全局具身感知扩展——Aria Everyday Activities 集成 SLAM 点云与眼动注视；OAKINK2 将层次化任务意图与精细位姿关联；Nymeria 提供 300 小时全身动作捕捉。

5.6.3 迈向通用预训练混合

WAM 发展最近的趋势是专门为通用策略预训练而策划的大规模数据混合（mixtures）。多样化的数据集不再作为孤立的学术基准，而被聚合为单体学习引擎。Ego-Centric Human Manipulation Dataset 与 UniHand 汇集超 1.3 亿帧、数千小时视频，将异构的 RGB 观测与统一的运动学手部姿态对齐。EgoDex 代表这一进程的最新重大跃迁，在保持高保真 3D 手指跟踪以服务灵巧控制的同时，规模化到 829 小时、194 个任务。与此同时，Humanoid Everyday 与 PH2D 明确将人类自我中心演示与人形机器人运动学对齐。

经典论文：UniHand — 与WAM的关系及核心创新：UniHand 汇集海量人类手部操作视频，将异构 RGB 观测统一对齐到一致的运动学手部姿态空间。对 WAM 而言，它提供了把人类行为数据投影到机器人动作空间所需的统一运动学接地，是通用预训练混合数据的关键组件。

对 WAM 的未来而言，这些本体感觉接地的混合数据扮演着终极催化剂：它们让模型吸收海量人类行为数据，并将其直接投影到机器人动作空间之中。

下表（对应论文 Table 7）汇总本章涉及的人类/自我中心数据集。"模态"列含义同前。

名称	年份	规模	任务/技能	环境	采集	模态
SSv2 [162]	2018	108,499 clips	174	1	crowdsourced	RGB
EPIC-KITCHENS [163]	2018	55 h	-	3	manual	RGB, A
HowTo100M [164]	2019	136M clips	-	23K+	script, ASR	RGB
Kinetics-700 [165]	2019	650K clips	-	-	web mining	RGB
Ego4D [167]	2021	3,670 h	-	5	manual	RGB, A
EgoVid-5M [169]	2024	5M clips	-	-	derived	RGB, text
DreamDojo-HV [35]	2026	43,827 h	6,015	6,015	crowdsourced	RGB, text
Assembly101 [172]	2021	4,321 videos	-	4	manual	RGB, P
Ego-Exo4D [175]	2023	1,286 h	8	123	manual	RGB, A, PC, P
TACO [179]	2024	5.2M frames	15	3	manual	RGB, D, text, P
Nymeria [182]	2024	300 h	-	50	manual	RGB, PC, P, A
PH2D [184]	2025	3M+ frames	-	4	manual	RGB, P
Humanoid Everyday [185]	2025	10.3K traj., 3M frames	221	260	teleop.	RGB, D, T, P, text
UniHand [189]	2025	1,155 h	-	150+	manual, 标注	RGB, P, text
Ego-Centric Human Manipulation [190]	2025	500,000 图像-动作对	-	25	manual	RGB, P, text
EgoDex [192]	2026	829 h	-	194	manual	RGB, P, text
EgoScale [362]	2026	20,854 h	4	9,869	manual	RGB, P, text
HumanNet [366]	2026	1M h	8	720K+	aggregation, crawling	RGB, P, text

5.7 与 WAM 架构的呼应：数据如何塑造经典范式

本章梳理的四大数据范式，与综述前文所述的 WAM 架构分类法（级联式 Cascaded 与联合式 Joint WAMs）存在内在呼应，理解这一点有助于看清"为何要混合这些数据"。

级联式 WAM 与无动作视频：级联式 WAM 通常先用视频世界模型预测未来视觉状态，再从中解码动作。这类架构天然能消费 Sec. 5.6 的无动作互联网视频——它们只需要 $(o_t,o_{t+1})$ 序列即可预训练强大的视觉物理先验，再在 Sec. 5.3–5.4 的小规模 $(o_t,a_t,o_{t+1})$ 数据上微调动作解码。UniPi 正是这一"先视频、后动作"两阶段蓝图的奠基者。

经典论文：UniPi — 与WAM的关系及核心创新：UniPi 提出"文本条件视频生成 → 轻量逆动力学模型解码动作"的两阶段蓝图，是级联式 WAM 的奠基之作。其核心创新在于把策略学习重新表述为视频生成问题，从而首次让大规模无动作互联网视频得以服务于机器人控制，呼应了本章"用无配对视频学习视觉物理"的论点。

联合式 WAM 与三元组：联合式 WAM 同时建模未来状态与动作的联合分布，因此严格依赖 $(o_t,a_t,o_{t+1})$ 三元组来紧密耦合内部表征——这正是 Sec. 5.3 与 Sec. 5.4 高保真数据的核心价值所在。同时，其架构灵活性允许通过联合训练吸收无配对视频。

世界模型的传承：WAM 内部的状态转移建模 $o_{t+1}=f(o_t,a_t)$ 深植于经典世界模型谱系。PlaNet 引入循环状态空间模型（RSSM），结合确定性与随机成分以同时捕捉可预测动力学与不确定性；Dreamer 系列将 RSSM 从规划扩展到策略学习，奠定了现代基于世界模型的强化学习范式。

经典论文：PlaNet — 与WAM的关系及核心创新：PlaNet 引入循环状态空间模型（RSSM），将确定性与随机 latent 动力学结合，从像素直接学习世界模型并用于规划。它是 WAM 状态转移建模 $o_{t+1}=f(o_t,a_t)$ 的 latent 动力学鼻祖。

经典论文：Dreamer — 与WAM的关系及核心创新：Dreamer（Dream to Control）在 PlaNet 的 RSSM 之上提出"在想象中学习行为"的actor-critic 范式，把世界模型从规划工具扩展为完整的策略学习引擎，是现代基于世界模型的 RL 与 WAM 联合训练目标的精神先驱。

JEPA 路线与抽象表征：在数据效率上，JEPA（联合嵌入预测架构）路线主张在抽象嵌入空间中预测未来 latent，而非重建原始像素，从而能更高效地利用视频数据。V-JEPA 2 将该范式扩展到视频世界建模，为 WAM 提供了一种从海量无动作视频中学习抽象、可泛化物理表征的高效途径。

经典论文：V-JEPA 2 — 与WAM的关系及核心创新：V-JEPA 2 将 JEPA 范式扩展到视频世界建模，通过预测未来 latent 嵌入（而非重建像素）学习更抽象、可泛化的视觉物理表征。对 WAM 而言，它代表了一条从 Sec. 5.6 海量无动作视频中高效蒸馏世界动力学的数据高效路线。

生成式视频先验与扩散：在视频生成侧，Sora 与 Latte 等将视频视为时空 token 序列并用扩散/Transformer 生成，而 LDM 通过在 latent 空间去噪大幅降低像素级扩散的计算开销。这些生成式视频先验让级联式 WAM 能利用互联网规模视频预训练，再迁移到机器人场景。

经典论文：LDM（Latent Diffusion Models） — 与WAM的关系及核心创新：LDM 将扩散过程从像素空间移到潜空间，大幅降低计算开销，是现代视频/图像扩散生成的基础架构。对 WAM 而言，它使基于扩散的视频世界模型（级联式 WAM 的视觉预测主干）能在合理成本下利用互联网规模视频预训练。

备注：Sora（33）将视频生成模型视为"世界模拟器"，深刻影响了"用生成式视频先验驱动 WAM"的思路；RT-2（1）与 OpenVLA（2）则分别代表 VLA 从大模型协训到开源化的两个里程碑，为 WAM 的动作生成主干提供了可直接继承的 VLA 基线。

5.8 本章小结

本章系统梳理了驱动世界动作模型训练的四大数据范式，并揭示了 WAM 数据生态的独特性：

1. 统一数据消化是 WAM 的核心优势。不同于纯 VLA 只能用 $(o_t,a_t)$、纯世界模型只能用 $(o_t,o_{t+1})$，WAM 既能用高保真三元组 $(o_t,a_t,o_{t+1})$ 紧密耦合内部表征，又能通过联合训练吸收海量无配对视频。构建 WAM 数据生态的关键不是单纯扩大机器人数据，而是战略性地混合严格耦合的演示与无约束的观测。

2. 四大范式构成迁移-扩展的连续谱。机器人中心遥操作（Sec. 5.3）提供精确运动学接地但难扩展；便携式人类演示（Sec. 5.4，UMI 风格）以低成本桥接人手灵巧性与真实交互；仿真数据（Sec. 5.5）提供无限过程式变化与特权空间监督但存在 sim-to-real gap；人类与自我中心数据（Sec. 5.6）供应近乎无界的被动世界动力学先验但最难迁移到机器人控制。

3. 每条范式内部都有两条演进轨迹。机器人侧分别走向"规模化（形态覆盖、自动化增强）“与"深化感知（多模态、富接触接地）”；仿真侧走向"过程式规模化"与"3D/4D 时空 + 触觉高保真"；人类/自我中心侧则从"被动视觉动力学"走向"姿态/本体感觉接地的动作条件化动力学"，并最终汇流为通用预训练混合。

4. 多模态与三维/触觉接地是物理内化的前提。接触力旋量、滑动摩擦、质量分布与局部形变等低层物理无法仅从二维外观数学推导，必须依赖触觉、点云、音频、深度等密集多模态信号；而仿真特权信息则让模型能直接从物理引擎蒸馏直觉物理。

5. 数据生态与 WAM 架构分类法内在呼应。级联式 WAM 天然适配无动作互联网视频先预训练视觉物理、再用小规模三元组微调动作的两阶段路线（如 UniPi）；联合式 WAM 严格依赖三元组耦合表征，同时保留吸收无配对视频的架构灵活性。PlaNet/Dreamer 的 latent 动力学、JEPA 的抽象预测、LDM/Sora 的生成式视频先验，分别从不同侧面定义了 WAM 如何"消化"本章所述的数据。

总体而言，研究者正越来越多地利用这四类数据集的互补混合，来弥合"精确的低层机器人控制"与"广泛的开放世界泛化"之间的鸿沟——这正是 WAM 走向通用具身基础模型的数据之路。

---

第6章 评估：如何衡量世界建模与动作策略

世界动作模型（World Action Models, WAMs）将"预测未来状态"与"生成可执行动作"统一在同一框架之下，因此对其评估也天然是一个双轴问题。综述指出，全面评估 WAMs 需要同时考察两件事：合成未来状态的保真度（fidelity），以及所生成动作的有效性（effectiveness）——更进一步，理想情况下还应考察两者之间的因果对齐（causal alignment），即生成的世界是否真的能"反推"出生成它所用的动作，反之亦然。

然而，现实是：目前还没有一个成熟的协议能够联合评估这两个相互耦合的模块。学界普遍采用的是一种"解耦范式"（decoupled paradigm）——分别用模块专属的指标去衡量世界建模能力和动作策略能力。遵循这一惯例，综述将评估部分沿两条互补的轴线展开：

1. 世界建模能力（World Modeling Capability，Sec. 6.1）：考察合成状态转移的物理完整性与结构一致性；
2. 动作策略能力（Action Policy Capability，Sec. 6.2）：衡量所生成动作在具身任务中的有效性。

这种解耦虽然务实，但也意味着 WAM 最独特的价值——状态与动作的联合分布——目前仍缺乏直接的评价手段。本章梳理的所有指标与基准，都是在这条折中路径上所做的努力。

---

6.1 如何评估世界建模能力？

评估 WAM 的世界建模部分，与传统视频生成评估有本质区别。它不仅要求表面视觉逼真，更要求忠实捕捉环境的底层动力学、并保留可被用于控制的信息。综述将这一维度的评估进一步拆为三个并列的方面：

• 视觉保真度（Visual Fidelity，Sec. 6.1.1）：评估视觉界面的质量与时序一致性；
• 物理常识（Physical Commonsense，Sec. 6.1.2）：考察是否遵守基本的材料与力学规律；
• 动作合理性（Action Plausibility，Sec. 6.1.3）：衡量合成转移中是否包含足够信息以"翻译回"可执行的控制信号。

三者层层递进：先要"看着真"，再要"行为真"，最后还要"能用来控制"。

6.1.1 视觉保真度（Visual Fidelity）

视觉保真度是世界动作模型评估中最基础的一层。综述给出的逻辑很直接：当生成视频存在严重的伪影、时序不一致或条件遵循不佳时，任何"物理合理推理"或"动作提取"都无从谈起——垃圾进，垃圾出。在实践中，近期工作通常组合以下四类指标，从多个视角评估视频质量：

• 低层重建指标（pixel-level reconstruction）
• 感知相似度指标（perceptual similarity）
• 语义对齐信号（semantic alignment）
• 分布层真实度指标（distribution-level realism）

像素层：PSNR 与 SSIM

在像素层，PSNR（峰值信噪比）通过最大信号值与均方误差（MSE）的对数比来度量重建保真度：

$$\mathrm{PSNR}(x,y)=10{\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}(x,y)}\right).\text{\hspace{1em}(1)}$$

而 SSIM（结构相似性指数）则通过比较亮度、对比度和结构信息来评估结构相似性 [193]：

$$\mathrm{SSIM}(x,y)=\frac{(2{\mu }_x{\mu }_y+C_1)(2{\sigma }_{xy}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}.\text{\hspace{1em}(2)}$$

二者都源自图像质量评估的经典传统，常作为重建类世界模型（如帧预测、未来状态预测）的基础度量。

感知与语义层：LPIPS、DreamSim、DINO

为超越低层统计量，许多工作引入了基于特征的感知或语义相似度指标。

LPIPS 在深度特征空间中度量感知相似度：它提取多层特征、按通道归一化、施加通道级权重、在空间位置上平均距离、再跨层求和 [194]。它是视频生成与世界模型评估中最广泛采用的感知指标之一。

$$\mathrm{LPIPS}(x,y)=\sum _l\frac{1}{H_l{W}_l}\sum _{h,w}{w}_l\odot {\Vert {\hat{f}}_l(x{)}_{hw}-{\hat{f}}_l(y{)}_{hw}\Vert }_2^2,\text{\hspace{1em}(3)}$$

其中 ${\hat{f}}_l(\cdot {)}_{hw}$ 表示第 $l$ 层在空间位置 $(h,w)$ 处经通道归一化的深度特征，$w_l$ 为可学习的通道级权重向量。

DreamSim 提供了一种与人类判断对齐的感知相似度信号。它在图像三元组上训练——每个三元组包含一张参考图像和两张候选图像，标注者选择哪张候选图在感知上更接近参考图——从而能够评估生成内容在物体布局、身份和场景语义上是否与参考保持感知一致 [195]：

$$\mathrm{DreamSim}(x,y)=1-\Vert E(x)-E(y){\Vert }_2,\text{\hspace{1em}(4)}$$

其中 $E(\cdot )$ 为融合后的嵌入。

部分工作还使用基于 DINO 的特征相似度，作为语义或实例级对齐信号 [196]：

$$\mathrm{DINO}(g_t,r_t)=\frac{⟨f(g_t),f(r_t)⟩}{\Vert f(g_t){\Vert }_2\Vert f(r_t){\Vert }_2},\text{\hspace{1em}(5)}$$

其中 $f(\cdot )$ 表示 DINOv2 编码器。综述指出，自监督视觉表征往往比像素级距离更稳健地保留物体身份与场景语义，因此 DINO 相似度适合作为语义层面的对齐度量。

分布层：FVD

在分布层，FVD（Fréchet Video Distance）是视频生成领域最广泛使用的指标之一 [197]。它不逐帧比较单个样本，而是在预训练的视频特征空间中计算真实视频与生成视频分布之间的 Fréchet 距离，从而在数据集层面反映整体真实度与时序动态：

$$\mathrm{FVD}={\Vert {\mu }_r-{\mu }_g\Vert }_2^2+\mathrm{Tr}\left({\Sigma }_r+{\Sigma }_g-2({\Sigma }_r{\Sigma }_g{)}^{1/2}\right).\text{\hspace{1em}(6)}$$

小结

综述总结道，世界动作模型中的视频质量评估通常依赖如下组合：以 PSNR/SSIM 衡量低层保真度，以 LPIPS/DreamSim/DINO 相似度衡量感知与语义一致性，以 FVD 衡量分布层真实度与时序质量。这套组合基本沿用了视频生成社区成熟的评估栈，并被直接迁移到世界模型场景。

---

6.1.2 物理常识（Physical Commonsense）

视频质量衡量的是"生成视频看起来是否逼真"，而物理常识回答的是一个更深层的问题：生成的世界是否以物理上合理的方式运行？综述将这一方向的现有评估组织为两大类：物体动力学（object dynamics）与运动/轨迹合理性（motion and trajectory plausibility）。

物体动力学（Object Dynamics）

物体动力学关注生成视频是否在时间上保持物体连续性，同时建模有物理根据的交互与时序连贯的事件演化。这不仅仅是"实体跨帧是否稳定"，还包括接触、碰撞、状态变化及其因果顺序是否以合理方式展开。这些能力对世界模型至关重要——世界模型必须表征物体如何在物理约束下持续存在并演化，而不仅仅是产出视觉上逼真的帧。

一个有代表性的早期基准是 VideoPhy [198]，它在物理交互场景（包括固-固、固-液、液-液交互）下评估文生视频。它依赖人工的二元标注，分别判断语义遵循度（semantic adherence）和物理常识（physical commonsense），因此擅长识别物理合理性上的明显失败。

更聚焦的物理评估由 PhyGenBench [199] 提供。它引入"物理常识对齐"（physical commonsense alignment），并主要通过 PhyGenEval 进行度量——这是一个基于 VLM 与 LLM 而非单纯人工打分的自动化评估框架。具体而言，PhyGenEval 将评估分解为：关键物理现象检测（key physical phenomena detection）、物理顺序验证（physics order verification）和整体自然度（overall naturalness）；人工标注者则主要用于度量该指标与人类判断的相关性，以验证其有效性。

VBench-2.0 [200] 包含一个 physics 维度，评估生成视频是否遵循真实世界的物理原理，涵盖力学、热学和材料状态变化，主要通过基于视频的多项问答（multi-QA）实现。其 commonsense 维度则用一个专门的片段级异常实体检测器（clip-level abnormal-entity detector）来评估，而非标准 VQA：该检测器检查片段中是否出现突然融合、分裂、出现或消失等异常，并在视频层级给出二元评分。

另一个相关基准是 WorldModelBench [201]。它的物理遵循度分数由五项二元物理定律检查定义，包括：牛顿第一定律、质量守恒与固体力学、流体力学、不可穿透性、以及引力。基准先针对这些标准收集人工标注，再用所得标签微调一个基于 VLM 的自动评判器。

Physics-IQ [202] 则测试视频生成模型能否从条件视频帧预测真实世界物理事件的未来演化。与基于文本的物理基准不同，它使用真实视频，并以运动和保真度相关的指标评估物理理解，包括 Spatial IoU、Spatiotemporal IoU、Weighted Spatial IoU 与 MSE。

运动/轨迹合理性（Motion and Trajectory Plausibility）

这一方面评估生成视频中物体或智能体的运动是否连贯、平滑、与条件对齐，并在长时间上物理合理。与以物体为中心的物理动力学相比，它更强调长时程运动质量以及生成轨迹是否以可控、时序稳定的方式演化。

代表性基准是 WorldScore [203]，它从可控性、质量和动力学三个角度评估世界生成。其动力学维度进一步分解为运动准确性（motion accuracy）、运动幅度（motion magnitude）和运动平滑度（motion smoothness）。其中，运动幅度通过估计连续帧之间的光流来度量，运动平滑度则通过与平滑的插值参考比较来捕捉时序抖动。

更面向轨迹的基准是 EWMBench [204]，它从视觉场景一致性、运动正确性和语义对齐三方面评估具身世界模型。为评估运动正确性，它明确以末端执行器（EEF）轨迹作为评估目标，并引入轨迹一致性指标，包括 HSD、nDTW 和 DYN——分别度量空间偏差、时空对齐，以及速度/加速度等运动动力学。

总体而言，这一类别评估的不仅是"物体是否在动"，而是"它们是否以时序稳定、物理有据、并与控制或任务意图一致的方式运动"。

综述总结：世界动作模型中的物理常识评估，超越了"视频是否视觉逼真"。它检验的是——生成的世界是否保持稳定的物体身份、交互是否依循因果与材料约束、物体运动是否在时间上保持合理。

为便于查阅，下表汇总了世界建模的评估指标与基准（对应综述 Table 8）。

表 8　世界建模评估指标与基准汇总

名称	年份	评估重点	指标 / 实现
视觉保真度
PSNR	–	像素级重建保真度	最大信号值与 MSE 的对数比
SSIM [193]	2004	亮度/对比度/结构相似性	结构相似性指数
LPIPS [194]	2018	深层感知相似度	深度特征空间中的加权距离
DreamSim [195]	2023	与人类对齐的感知相似度	人工三元组判断上训练的融合嵌入空间相似度
DINO [196]	2023	语义/实例级对齐	DINOv2 特征空间中的余弦相似度
FVD [197]	2018	分布层真实度与时序质量	预训练视频特征空间中的 Fréchet 距离
物体动力学
VideoPhy [198]	2024	物理交互场景（固-固/固-液/液-液）；物体连续性与物理合理性	语义遵循与物理常识的二元人工标注
PhyGenBench [199]	2024	生成视频的物理常识对齐	PhyGenEval：关键物理现象检测、物理顺序验证、整体自然度
VBench-2.0 [200]	2025	物理与常识违反（力学/热学/材料状态变化、异常实体行为）	Physics 维度用视频多问答；Commonsense 用片段级异常实体检测器
WorldModelBench [201]	2025	长时程生成世界动力学中的物理遵循	五项二元物理定律检查 + 人工标注 + 微调的 VLM 自动评判器
Physics-IQ [202]	2026	由条件帧预测真实物理事件的未来演化	Spatial IoU、Spatiotemporal IoU、Weighted Spatial IoU、MSE
运动/轨迹合理性
WorldScore [203]	2025	可控性、质量、动力学（运动准确性/幅度/平滑度）	光流估计运动幅度；与插值参考比较度量平滑度
EWMBench [204]	2025	具身世界模型的运动正确性与轨迹一致性	EEF 轨迹指标：HSD、nDTW、DYN
动作合理性
WorldSimBench [205]	2024	情境感知生成视频是否保留控制相关信息	隐式操控评估（Implicit Manipulative Evaluation）
Wow, wo, val! [206]	2026	生成视频能否被翻译回可执行动作	IDM 图灵测试 + 下游真实世界执行成功率

---

6.1.3 动作合理性（Action Plausibility）

这是评估世界动作模型时最具特色、也最关键的一环。综述用三层递进的设问清晰地刻画了三者关系：

• 视频质量问的是"生成的世界看起来是否逼真"；
• 物理常识问的是"它行为是否合理"；
• 动作合理性问的是"生成的视频是否保留了足够的动作相关信息，以支撑控制推断与下游执行"。

这一维度的早期基准是 WorldSimBench [205]，它在显式感知评估之外引入了"隐式操控评估"（Implicit Manipulative Evaluation）。它不再仅凭视觉质量评判生成视频，而是评估一个生成的情境感知视频能否在动态具身环境中被准确地翻译为正确的控制信号。

经典论文：WorldSimBench — 与WAM的关系及核心创新：率先将"视频能否还原为控制信号"作为评估维度，提出隐式操控评估，将世界模型评估从纯视觉质量推向"可操控性"，契合 WAM 中"状态-动作对齐"的核心诉求。

这一视角在 Wow, wo, val! [206] 中被进一步强化，它提出了逆动力学建模图灵测试（Inverse Dynamics Modeling Turing Test, IDM Turing Test）：将一个 IDM 应用于生成视频以推断底层动作序列，再用所得动作在真实世界中执行的成功率来评估。其结果令人警醒——许多视觉上极具说服力的模型，在该测试下成功率坍缩到接近零。这一发现凸显了"视觉上合理的视频生成"与"可执行机器人行为"之间的关键鸿沟，并确立了动作合理性作为一个独立于外观与物理真实度的评估轴线。

综述小结：对世界动作模型（视频生成视角）的评估可结构化为三个互补维度——视频质量保证生成视频在视觉上忠实且感知一致；物理常识评估生成世界是否尊重物体连续性、交互动力学与合理运动；动作合理性检验生成视频是否保留了足够动作信息以支撑下游控制与执行。

---

6.2 如何评估动作策略？

如果说世界建模评估关注的是合成转移的保真度，那么动作策略评估针对的是策略能力——即模型在多样场景下生成精确、稳健、可泛化控制信号的能力。综述指出，随着 WAM 从被动视频生成走向主动机器人控制，对这些策略的系统性评估已成为核心研究优先级。

综述系统回顾了 2019 至 2026 年间提出的 40 余个主流基准，覆盖的关键设计维度包括：仿真环境搭建、传感模态配置、示范数据集规模，以及多维评估指标。总体上，依据机器人形态与操作场景，现有基准可分为五大类：

1. 通用操作（General Manipulation，Sec. 6.2.1）
2. 双臂与人形操作（Bimanual and Humanoid Manipulation，Sec. 6.2.2）
3. 移动操作（Mobile Manipulation，Sec. 6.2.3）
4. 接触密集与可变形物体操作（Contact-rich and Deformable Object Manipulation，Sec. 6.2.4）
5. 真实机器人评估（Real-Robot Evaluation，Sec. 6.2.5）

为便于纵览，下表汇总了动作策略评估的主要基准（对应综述 Table 9；Obs. 表示观测模态：RGB、Pose、D 深度、S 分割、PC 点云、T 触觉、N 法向量；Eval. Focus 标签：G 泛化、MT 多任务、LH 长时程、Lang 语言、DS 数据扩展、S2R Sim-to-Real、Dex 灵巧、Mem 记忆、LL 终身学习）。

表 9　动作策略评估基准汇总

名称	年份	物体数	任务数	轨迹	观测模态	机器人	仿真器	评估重点
通用操作
MetaWorld [207]	2019	80	50	–	Pose	Sawyer	MuJoCo	MT
RLBench [208]	2020	28	100	–	RGB, D, S	Franka Panda	CoppeliaSim	G MT
Robomimic [209]	2021	15	8	6K	RGB, D	Franka Panda	MuJoCo	–
Franka Kitchen [210]	2020	10	7	513	Pose	Franka Panda	MuJoCo	LH
CALVIN [213]	2021	28	34	20K+	RGB, D	Franka Panda	PyBullet	LH
ManiSkill [211]	2021	100+	4	30K+	RGB, D, S	Franka Panda	SAPIEN	G
ManiSkill2 [151]	2023	2144	20	30K+	RGB, D, S	Franka Panda	SAPIEN	MT
ManiSkill3 [212]	2025	10K+	62	–	RGB, D, S	Franka Panda	SAPIEN	DS MT
VIMA-Bench [214]	2023	100+	17	600K+	RGB, D, S	UE5	PyBullet/Ravens	Lang
VLMbench [215]	2024	22	8	6K+	RGB, D, S	Franka Panda	CoppeliaSim/RLBench	Lang
ARNOLD [230]	2023	40	8	10K+	RGB, D, S	Franka Panda	IsaacSim	G
LIBERO [216]	2023	67	130	6.5K	RGB, D	Franka Panda	MuJoCo/robosuite	LL
Libero-plus [4]	2025	–	10030	20K+	RGB, D	Franka Panda	MuJoCo	G
Libero-pro [217]	2025	–	–	–	RGB, D	Franka Panda	MuJoCo	G
Libero-x [218]	2026	60+	600	2520	RGB, D	Franka Panda	MuJoCo	G
COLOSSEUM [219]	2024	–	20	2K	RGB, D	Franka Panda	CoppeliaSim/RLBench	G
GemBench [231]	2025	20+	60	–	RGB, D	Franka Panda	CoppeliaSim	G
AGNOSTOS [220]	2025	–	41	3.6K	RGB, D, S	Franka Panda	CoppeliaSim/RLBench	G
SimplerEnv [229]	2024	–	–	–	RGB, D	Google Robot, WidowX	SAPIEN	S2R
RoboCasa [152]	2024	2509	100	100K+	RGB, D	4+	MuJoCo/robosuite	LH
GenManip [225]	2025	10	200	–	RGB, D, S	Franka Panda	IsaacSim	G
VLABench [226]	2024	2000+	100	5K	RGB, D	Franka Panda	MuJoCo	Lang
RoboVerse [222]	2025	5.5K	276	500K	RGB, D	5	MetaSim	S2R DS MT
RoboSuite [227]	2020	20	9	12K	RGB, D	10	MuJoCo	MT
RoboEval [221]	2025	–	8	3K+	RGB, D	Franka Panda	–	G Dex
RoboMME [224]	2026	–	16	1600	RGB, D, S	Franka Panda	ManiSkill3	Mem
RoboLab [228]	2026	–	120	–	RGB, D	Franka Panda	IsaacSim	–
PolaRiS [223]	2025	–	–	~350	RGB, D	Franka Panda	IsaacSim	S2R
双臂与人形
RoboTwin [153]	2025	10+	–	320	RGB, D, S	Aloha-AgileX	SAPIEN/ManiSkill3	MT Dex
BiGym [232]	2024	10+	40	2K	RGB, D	Unitree H1	MuJoCo	MT Dex
HumanoidBench [233]	2024	15	27	45K+	RGB, D, T	Unitree H1 + Shadow-Hand	MuJoCo	MT Dex
HumanoidGen [234]	2025	–	20	200K+	RGB, D	Unitree	SAPIEN	DS Dex
移动操作
HomeRobot [236]	2023	7892	12	–	RGB, D	Hello Robot Stretch	AI Habitat	G S2R
ManipulaTHOR [235]	2021	2.6K+	28	12.8K+	RGB, D, N	Kinova Gen3 on Mobile Base	Unity/AI2-THOR	G
BEHAVIOR-1K [237]	2023	5215	1K	230K+	RGB, D	Mobile Manipulator	OmniGibson	G LH
接触与可变形
SoftGym [238]	2021	4	10	10K+	RGB, D, P	Sawyer, Franka	NVIDIA FleX	Dex
PlasticineLab [239]	2021	1	10	1.2K	RGB, D, P	Rigid End-Effector	Taichi+DiffTaichi	Dex
DaXBench [240]	2023	4	9	9K+	RGB, D, P	–	DaX	Dex
TacSL [241]	2025	–	3	–	RGB, D, T	Franka Panda	Isaac Gym	S2R Dex
ManiFeel [242]	2025	–	6	–	RGB, D, T	Franka Panda	Isaac Sim/TacSL	S2R Dex
真实设备
RoboArena [243]	2025	–	–	–	RGB, D	Franka Panda	–	G
RoboChallenge [244]	2026	–	30	–	RGB, D	4	–	MT
Maniparena [245]	2026	–	20	10812	RGB, D	X2Robot, Quanta X1	–	G LH

6.2.1 通用操作基准（General Manipulation）

通用操作是当前基准覆盖最广的方向，构成了动作策略评估生态的主体。

奠基性框架

早期基准建立了多任务操作评估的基础框架。MetaWorld [207] 与 RLBench [208] 分别提供了 50 与 100 个操作任务，为标准化的多任务策略比较奠定基础。随后工作转向离线模仿学习：Robomimic [209] 系统研究了"从人类示范中学习时哪些设计决策才是关键"，而 Franka Kitchen [210] 则提供了顺序任务执行的早期测试床。在此基础上，LIBERO [216] 引入了更全面的评估套件，横跨四个维度——泛化、长时程任务、终身学习和语言理解——共 130 个任务，是较早尝试沿多个轴线同时评估操作策略的工作之一。

经典论文：LIBERO — 与WAM的关系及核心创新：以泛化/长时程/终身学习/语言四维度同时评估操作策略，为 WAM 这类统一感知-预测-动作的模型提供了多轴评测范式；其任务族（Libero-plus/pro/x）也成为 VLA 与 WAM 鲁棒性评估的事实标准。

经典论文：MetaWorld — 与WAM的关系及核心创新：定义了 50 任务的多任务操作基准，是评估策略泛化与多任务能力的奠基性套件，至今仍是 WAM/VLA 报告的标配之一。

数据驱动范式下的规模扩张

随着数据驱动范式成熟，基准在物体多样性、任务数和轨迹量上大幅扩张。ManiSkill 系列是这一趋势的典型：从 ManiSkill [211] 的 100+ 物体与 30K+ 轨迹，到 ManiSkill2 [151] 的 20 个任务、2144 物体，再到 ManiSkill3 [212] 的 10K+ 物体、62 任务，并将"数据可扩展性"作为显式评估维度。RoboCasa [152] 进一步以 2509 物体、100 任务、100K+ 轨迹横跨 4+ 机器人平台推进了这一前沿。与此互补，RoboVerse [222] 通过 MetaSim 引入统一的跨仿真器框架，聚合 276 任务与 500K+ 轨迹，并显式研究多仿真器下数据规模与策略性能的关系。

经典论文：ManiSkill2 / ManiSkill3 — 与WAM的关系及核心创新：以大规模物体/任务/轨迹并显式纳入"数据扩展"维度，将基准的核心问题从"能否完成任务"转向"数据规模如何影响策略能力"，正好契合 WAM 对规模化数据的依赖。

经典论文：RoboVerse — 与WAM的关系及核心创新：以 MetaSim 统一多个仿真器并聚合 50 万级轨迹，跨平台研究数据规模-策略性能关系，为 WAM 的跨形态、跨仿真器训练与评估提供基础设施。

综述总结道：这些工作共同将基准的核心问题从"策略能否完成任务"重塑为"数据规模如何影响策略能力"。

多维鲁棒性与任务级泛化

不同于仅在有限轴线上评估泛化的早期基准，COLOSSEUM [219] 与 LIBERO-Plus [4] 通过系统引入多维视觉与环境扰动来评估策略鲁棒性 [217, 218]。更进一步，任务级泛化已成为颇具挑战的评估目标：AGNOSTOS [220] 提出两级跨任务零样本泛化协议——Level-1 覆盖与已见任务有部分相似的任务，Level-2 针对需要更强泛化能力的全新场景。GemBench [231] 则引入四个逐级递增的泛化层级——从新放置、刚性物体，到铰接物体与长时程任务组合——提供了迄今对语言条件泛化最结构化的评估。

经典论文：LIBERO-Plus — 与WAM的关系及核心创新：对 VLA/WAM 进行深入的鲁棒性分析，系统施加视觉与环境扰动，把"鲁棒性"从附带指标提升为独立评估轴，暴露出 WAM 在分布外场景的脆弱点。

经典论文：GemBench — 与WAM的关系及核心创新：以四级递增泛化层级（新放置→刚性物体→铰接物体→长时程组合）刻画语言条件泛化，为衡量 WAM 的组合泛化能力提供了结构化阶梯。

其他评估维度

除上述方向外，研究者还探索了若干额外维度。在语言条件操作上，[214, 215] 等基准探索了多模态提示泛化，而 CALVIN [213] 则利用约 24 小时遥操作"play"数据，开创了长时程评估中的自然语言引导。在长时程操作上，后续基准 [225, 226] 将评估推向需要语义、空间与常识推理的多步任务链，揭示了单步基准无法暴露的局限。

经典论文：CALVIN — 与WAM的关系及核心创新：以长时程、语言条件的多任务序列为评测目标，恰好对应 WAM"预测+规划"的联合能力；其 play 数据范式也启发了 WAM 的数据利用方式。

在 Sim-to-Real 可迁移性上，SimplerEnv [229] 在 SAPIEN 仿真中复现了 Bridgev2 数据集的真实操作场景，为"现实鸿沟"提供可量化的参照；PolaRiS [223] 则利用高斯泼溅（Gaussian Splatting）将真实场景的短视频扫描转化为可交互的仿真环境，其结果与真实策略性能强相关，标志着基准设计从"构造合成任务"向"重建真实场景"的转变。

在记忆维度上，RoboMME [224] 构建了 16 个操作任务，横跨四个认知记忆维度——时间、空间、物体与程序性——瞄准那些需要早期步骤信息才能成功执行的历史依赖场景。

---

6.2.2 双臂与人形操作基准（Bimanual and Humanoid Form）

这一类基准瞄准两类形态：以协调双臂操作为中心的双臂机器人，以及具备全身运动能力的人形机器人。相比单臂操作，两者在动作空间维度、运动约束与任务复杂度上都显著更高，对动作策略的协调规划能力提出更高要求。

RoboTwin [153] 以 Aloha-AgileX 双臂平台为载体，在 SAPIEN/ManiSkill3 上构建评估环境，聚焦双臂协调下的长时程任务链执行。BiGym [232] 基于 Unitree H1 平台，在 MuJoCo 中提供 40 个家庭场景下的移动双臂操作任务，覆盖从简单目标 Reach 到复杂厨房清洁的多样操作场景，并为每个任务提供人类遥操作示范数据，以支持模仿学习与强化学习算法的评估。

经典论文：RoboTwin — 与WAM的关系及核心创新：以双臂平台承载长时程任务链评估，对应 WAM 在高维动作空间下的协调规划需求；其"数字孪生"式数据生成也呼应了 WAM 对规模化双臂数据的依赖。

HumanoidBench [233] 同样基于 Unitree H1，配备双侧 Shadow-Hand 灵巧手与全身触觉感知（共 448 个触觉点），在 MuJoCo 中提供 27 个任务，覆盖 15 个全身操作任务（如搬货、使用工具、打篮球）与 12 个运动任务（如行走、奔跑、越障），是目前传感器模态配置最丰富的人形机器人基准之一。HumanoidGen [234] 同样基于 Unitree 平台，在 SAPIEN 中以 200K+ 轨迹支持泛化能力、长时程操作与灵巧性的联合评估，并系统探索数据规模对人形机器人策略学习的影响。

经典论文：HumanoidBench — 与WAM的关系及核心创新：以全身操作+运动任务并配 Shadow-Hand 灵巧手与全身触觉，将评估推向高自由度人形形态；丰富的传感模态配置尤其契合 WAM 中"视-触-动作"多模态融合的方向。

---

6.2.3 移动操作基准（Mobile Manipulation）

移动操作同时考虑导航与操作能力，要求动作策略具备跨场景的感知、规划与动态执行能力，对策略性能的综合挑战更高。

ManipulaTHOR [235] 在 AI2-THOR 环境中以 Kinova Gen3 为机械臂，在 28 个任务上评估移动平台上的视觉引导操作与场景泛化。HomeRobot [236] 以 Hello Robot Stretch 为平台，在 AI Habitat 中构建家庭场景下的开放词汇移动操作评估，聚焦任意物体、任意场景下的导航与抓取协调，并具备仿真与真机双重评估能力。BEHAVIOR-1K [237] 覆盖 1000 项日常起居任务，在 OmniGibson 中探索 Sim-to-Real 迁移，支持刚体、可变形物体与液体的物理仿真——就任务覆盖广度而言，它是目前移动操作领域最广泛、最接近真实的基准之一。

经典论文：ManipulaTHOR — 与WAM的关系及核心创新：在移动平台上评估视觉引导操作与场景泛化，对应 WAM 在"导航+操作"耦合下的长时程规划需求；其多任务场景设定也启发了后续移动操作基准。

经典论文：HomeRobot — 与WAM的关系及核心创新：以开放词汇、任意物体/任意场景的设定评估导航-抓取协调，并提供仿真-真机双通道；开放词汇特性恰好契合 WAM 借助大规模预训练获得的语义泛化能力。

---

6.2.4 接触与可变形物体操作基准（Contact and Deformation Manipulation）

接触与可变形操作打破了传统的刚体假设，要求动作策略感知并精确控制柔顺物体的形变过程。它是操作策略评估中最具挑战的方向之一，对物理建模提出最严苛要求。依据被操作物体的物理特性与所用传感模态，综述将现有基准分为两组。

第一组：宏观可变形物体操作

第一组聚焦宏观可变形物体操作，核心挑战在于对发生大尺度形变的物体（如布料、液体、塑性可变形材料）进行物理建模与视觉引导控制。SoftGym [238] 与 PlasticineLab [239] 分别基于 NVIDIA FleX 与 Taichi 物理引擎，构建了布料折叠、倒液体、捏塑性形变等任务的评估环境，仅以纯视觉输入评估灵巧控制能力。在此基础上，DaXBench [240] 在 DaX 框架中提供 9 个可变形物体操作任务，进一步拓宽了可评估的材料类型与形变模式。

经典论文：SoftGym — 与WAM的关系及核心创新：以 FleX 物理引擎构建布料/液体/塑性形变任务的评估环境，突破刚体假设；WAM 若要建模这类大尺度形变的物理动力学，正需要这类基准的检验。

经典论文：PlasticineLab — 与WAM的关系及核心创新：基于可微分 Taichi/DiffTaichi 引擎评估塑性可变形物体操作，其可微物理与 WAM 的"可学习动力学模型"理念相通，可作为 WAM 形变建模能力的试金石。

第二组：接触感知的精细操作

第二组转向接触感知的精细操作，核心挑战不再是物体的大尺度形变，而是对复杂接触状态的实时感知与反馈控制——这恰恰是纯视觉方法的盲区。TacSL [241] 与 ManiFeel [242] 正式将触觉感知作为评估模态引入，分别在 Isaac Gym 与 Isaac Sim/TacSL 上构建触觉驱动的操作基准，并以触觉信号的 Sim-to-Real 迁移为核心评估目标。综述指出，这一转变预示着领域内更广泛的范式迁移——从"视觉主导"走向"视-触融合"。

经典论文：TacSL — 与WAM的关系及核心创新：将触觉正式纳入操作评估模态并以 Sim-to-Real 为目标，弥补纯视觉在接触状态感知上的盲区；这与 WAM 多模态世界建模、尤其是接触密集操作的发展方向高度一致。

经典论文：ManiFeel — 与WAM的关系及核心创新：在 Isaac Sim/TacSL 上构建触觉驱动操作基准，进一步推动"视-触融合"成为评估主流，为 WAM 在接触密集任务上的可执行性提供度量。

---

6.2.5 真实机器人基准（Real-Robot Evaluation）

仿真基准提供高效、可复现的评估条件，但仿真与真实环境之间固有的鸿沟使得真实部署时的策略性能难以准确预测。为此，部分工作直接在真实机器人平台上构建评估基准，以提供更具实践意义的评估结论。

RoboArena [243] 为真实设备设计开放评估场景，聚焦策略在真实环境中的泛化能力。RoboChallenge [244] 覆盖 30 个多任务真实操作场景，支持在 4 个机器人平台上进行横向对比评估。Maniparena [245] 以 X2Robot 与 Quanta X1 双平台为载体，收集 10812 条真机操作轨迹，覆盖泛化、长时程任务与多任务三个评估维度——就规模而言，它是目前最大的真机操作基准。

经典论文：RoboArena — 与WAM的关系及核心创新：直接在真实设备上设计开放评估场景，聚焦真机泛化能力，弥补仿真-真实鸿沟；对 WAM 这类以"可执行"为终极目标的模型，真机评估是其落地价值的最终裁判。

经典论文：Maniparena — 与WAM的关系及核心创新：以万级真机轨迹规模横跨泛化/长时程/多任务三维度，成为迄今最大的真机操作基准；为 WAM 提供了直接、可量化的真实世界性能参照。

---

本章小结

第 6 章回答了一个看似简单实则深刻的问题：当一个模型同时声称自己是"世界模型"又是"动作策略"时，我们该如何评判它？ 综述给出的答案是——沿两条互补的轴线分别评估，并清醒地承认两者的因果对齐尚无成熟协议。

世界建模能力（6.1） 被进一步分解为三个递进层面：

1. 视觉保真度——以 PSNR/SSIM 度量像素层重建，以 LPIPS/DreamSim/DINO 度量感知与语义一致性，以 FVD 度量分布层真实度与时序质量。这是"看着真"。
2. 物理常识——从物体动力学（VideoPhy、PhyGenBench、VBench-2.0、WorldModelBench、Physics-IQ）到运动/轨迹合理性（WorldScore、EWMBench），检验"行为真"。
3. 动作合理性——以 WorldSimBench 的隐式操控评估与 Wow, wo, val! 的 IDM 图灵测试为代表，追问"能否用来控制"。综述特别强调：许多视觉上极具说服力的模型在 IDM 图灵测试下成功率坍缩到接近零，揭示了"视觉逼真"与"可执行"之间的鸿沟，并由此确立了动作合理性作为独立评估轴的地位。

动作策略能力（6.2） 则横跨 40 余个基准、五大场景：通用操作、双臂与人形、移动操作、接触与可变形、真实机器人。综述刻画了两条清晰的发展主线：其一是规模的持续扩张（ManiSkill 系列从 100+ 物体到 10K+、RoboCasa 的 100K+ 轨迹、RoboVerse 的 500K+ 跨仿真器轨迹），将基准核心问题从"能否完成任务"重塑为"数据规模如何影响策略能力"；其二是评估维度的持续细化——从单轴泛化到多维鲁棒性（COLOSSEUM、LIBERO-Plus）、任务级分级泛化（AGNOSTOS、GemBench）、长时程与记忆（CALVIN、RoboMME），再到从纯视觉走向视-触融合（TacSL、ManiFeel）、从合成任务走向真实场景重建（PolaRiS）乃至真机大规模评估（Maniparena）。

贯穿全章的核心洞见是：WAM 最独特的价值在于状态与动作的联合分布及其因果对齐，而当前的解耦评估范式恰恰绕开了这一点。换言之，现有指标体系能够分别回答"世界是否逼真、是否物理合理、是否可执行动作"以及"策略是否泛化、是否鲁棒"，却尚未提供一个端到端的协议来衡量"预测的未来是否真的与所执行的动作互为因果"。这正是 WAM 评估领域留给未来研究最关键、也最具学术价值的开放问题。

---

第7章 开放挑战与未来机遇

世界动作模型（World Action Models, WAMs）的兴起，标志着具身智能从"token 级预测"向"状态级预测"的一次关键范式跃迁。然而，通向通用物理智能的道路仍然支离破碎。综述作者强调：要真正解决这些问题，仅靠规模的渐进式扩展（incremental scaling）远远不够，它要求我们从架构设计（architecture）、物理接地（grounding） 与验证方法（verification） 三个层面进行根本性的重新思考。

本章将系统梳理综述在第 7 章中提出的七大类开放挑战与机遇。这些议题并非孤立的技术细节，而是定义 WAM 下一阶段研究走向的核心议程。我们将忠实呈现综述的分类法、定义与论证脉络，并在适当位置补充经典论文背景，以帮助读者建立完整的技术坐标系。

---

7.1 架构耦合（Architectural Coupling）

7.1.1 耦合范式的多样性尚未被系统比较

当前 WAM 领域已涌现出令人瞩目的结构策略多样性：级联式流水线（cascaded pipelines）、联合扩散骨干（joint diffusion backbones）、离散化分词方案（discrete tokenization schemes）、以及隐式表征对齐（implicit representation alignment）等多种将"世界预测"与"动作生成"耦合起来的方式并存。然而综述尖锐地指出一个空白：至今没有一项系统性、可控的研究，在匹配的规模、数据与评测协议下，将这些范式逐一对照评估。

由此带来一连串悬而未决的实证问题：

• 显式的视觉预测是否真的为物理接地所必需？还是可以被更轻量的机制替代？
• 级联架构与联合架构在何种情况下、以何种方式影响下游控制？
• 每一种耦合机制究竟提供了什么样的归纳偏置（inductive bias）？

综述呼吁，迫切需要严格的消融实验（ablation studies）与对设计空间的理论分析，推动该领域从"架构潮流（architectural fashion）“走向"有原则的设计选择（principled design choices）”。

7.1.2 质疑像素预测的必要性：从生成式到隐式预测

综述进一步指出一条可能富有成效的方向：质疑像素级预测（pixel-space prediction）是否真的是耦合的必要组件。

最近的证据表明，在某些 WAM 中，世界建模的主要价值可能源于训练阶段提供的辅助梯度（auxiliary gradients），而非推理时显式生成未来帧；相应地，一些框架表明，在测试时移除未来预测头（future prediction head），并不必然降低下游控制性能。这一观察打开了一扇通往更高计算效率范式的大门：

与其在像素空间重建高维的未来观测，模型可以转而在一个联合学习的潜在空间（latent space） 中预测未来状态的抽象表征。

这种潜在预测式方法（latent-predictive approach）——以 JEPA 为代表但不局限于它——可以让模型绕开像素预测的瓶颈，专注于环境的因果不变量（causal invariants），同时忽略感知上无关的细节。通过将目标从像素级重建转变为动作条件化的潜在状态转移（action-conditioned latent state transitions），WAM 或许能在世界理解与动作执行之间建立更紧凑、更物理接地的耦合：

$${\mathcal{L}}_{\text{latent}}={\mathbb{E}}_{s_t,a_t}[\Vert \varphi (s_{t+1})-g_{\theta }(\varphi (s_t),a_t){\Vert }^2],$$

其中 $\varphi (\cdot )$ 是联合学习的状态编码器，$g_{\theta }$ 是潜在转移函数。损失直接在表征空间度量，而非在像素空间重建。

不过综述也审慎地保留了一个关键开放问题：这种"仅潜在（latent-only）"的表征，究竟能在多大程度上维持与生成式方法同等质量的接地？

经典论文：JEPA / V-JEPA 2 — 与 WAM 的关系及核心创新：JEPA（Joint-Embedding Predictive Architecture）由 LeCun 提出，主张在抽象嵌入空间中做预测性学习而非重建原始像素，是综述论证"绕开像素预测瓶颈"的核心范式依据。V-JEPA 2 将该范式扩展到视频级世界建模，通过预测未来潜在嵌入（而非重建像素）学到更抽象、更具泛化性的视觉表征，为 WAM 走向潜在状态预测提供了直接的方法学蓝本。

经典论文：DreamZero — 与 WAM 的关系及核心创新：DreamZero 是直接构建在预训练视频生成模型之上的代表性 WAM 实例，也是本章讨论推理延迟时引用的关键工作。它通过算法加速与底层 CUDA 优化将 WAM 推理推到约 7 Hz，但仍落后于非生成式 VLA 策略的 50 Hz 标准，凸显了"预见性 vs. 实时性"的核心矛盾。

---

7.2 多模态物理状态表征（Multimodal Physical State Representation）

7.2.1 RGB 视觉模态的系统性盲区

现有 WAM 几乎无一例外地在 RGB 视觉模态 中预测未来世界状态。然而综述指出，对于富接触操作（contact-rich manipulation） 而言，最关键的物理信息大量是像素空间中"不可见"的，包括：

• 触觉分布（tactile distributions）
• 接触力（contact forces）
• 声学特征（acoustic signatures）
• 材料柔顺性（material compliance）

于是，一个仅限于视觉预测的世界模型，恰恰在它最需要建模的物理交互处存在系统性盲点（systematic blind spot）。将 WAM 扩展到联合预测与推理触觉、力、本体感觉（proprioceptive）等未来状态，并同时发展支撑此类多模态世界建模所需的架构与数据集，构成了一条重要且基本未被探索的前沿。

7.2.2 重新定义"世界状态"：模态自适应预测

这一挑战更深层地暗示：WAM 中**“世界状态"本身的定义方式需要转变**。如果与富接触操作相关的状态并不是一个像素数组，而是视觉、触觉、力等多模态上的联合分布，那么多模态预测就不再只是对当前范式的简单扩展，而是要求重新概念化"世界模型究竟预测什么、为了什么目的”。

综述据此提出一个对未来架构极具价值的能力——模态自适应预测（modality-adaptive prediction）：

• 当丰富的传感器流可用时，生成物理接地的多模态预测；
• 当传感器受限时，优雅地退化（degrade gracefully） 为仅视觉推理；
• 而非把"全多模态"当作一种固定的、硬性的架构要求。

这种自适应能力对于在真实世界中部署的鲁棒性至关重要——毕竟并非所有部署环境都配备完整的触觉/力传感阵列。

经典论文：UMI（Universal Manipulation Interface） — 与 WAM 的关系及核心创新：UMI 通过轻量化的手持式 3D 打印夹爪配合可穿戴相机，让非专家用户即可采集可迁移到机器人的操作数据，是支撑多模态、便携式人类演示数据生态的里程碑工作，也为触觉/力等额外模态的采集管线扩展提供了硬件范式参考。（注：综述 references 中 UMI 主条目无独立 arXiv URL，此处链接为其原始论文 arXiv 页面。）

---

7.3 数据利用与混合设计（Data Utilization and Mixture Design）

7.3.1 最优数据混合原理尚不清晰

已有若干工作证明：引入以自我为中心的人类视频（egocentric human video）及其他非机器人数据源，能显著提升下游操作性能。但综述指出，支配最优数据混合设计（optimal data mixture design） 的原理仍知之甚少。一系列尚未回答的核心问题包括：

• 每个数据源的边际贡献作为其规模与域间差距（domain gap）的函数，究竟是怎样的？
• 人类视频预训练带来的收益主要是语义的（semantic） 还是动力学的（dynamical）？
• 训练课程应当如何从互联网尺度的宽泛先验过渡到带动作标注的精确机器人演示？

发展出回答这些问题的有原则的"配方（recipes）"，对于把 WAM 训练从当前对昂贵的、以机器人为中心的遥操作数据的依赖中解放出来，是必不可少的。

7.3.2 解耦非机器人数据的多重角色：可迁移知识层次

综述主张，数据混合设计的核心挑战在于解耦非机器人数据在接地中扮演的多重、可能重叠的角色。超越单纯的语义增强，综述将人类视频的价值概念化为一个可迁移知识层次（hierarchy of transferrable knowledge）：

层次	知识类型	内容
(1) 低层	物理先验（low-level physical priors）	如物体恒存性（object permanence）、重力约束
(2) 中层	因果动力学（mid-level causal dynamics）	编码特定交互与其物理结果之间的因果关系
(3) 高层	任务逻辑（high-level task logic）	编码与具体具身形态（embodiment）无关的、任务相关的时间依赖

将焦点从经验性的超参调节，转向一种更具原则性的、信息论视角的数据混合观，能让领域识别出：世界建模的哪些具体成分最适合从互联网视频中学，哪些又最适合从精确机器人演示中学。

7.3.3 具身感知的过滤机制

由此引出一个关键研究前沿——具身感知过滤机制（embodiment-aware filtering mechanisms） 的开发：即能够从多样来源中选择性蒸馏通用物理定律，同时隔离并抑制与目标机器人运动学不兼容的行为的架构。这一点至关重要，因为人类视频中包含大量与机器人本体不兼容的手部动作，若不加区分地学习，会引入有害的偏差。

经典论文：RT-2 — 与 WAM 的关系及核心创新：RT-2 是将大规模视觉-语言模型（VLM）的互联网级语义知识迁移到机器人动作输出的开创性 VLA 工作。它印证了"非机器人数据（网页知识）可显著赋能机器人策略"这一论点，是 WAM 数据混合讨论中"语义 vs. 动力学收益"辨析的参照基线。

经典论文：OpenVLA — 与 WAM 的关系及核心创新：OpenVLA 提供了一个开源、可复现的 VLA 基线，使社区得以在统一协议下衡量不同数据混合、不同接地策略的边际贡献，是推动 WAM 走向"有原则设计选择"的重要基础设施。

---

7.4 长程规划与时间抽象（Long-Horizon Planning and Temporal Abstraction）

7.4.1 长程场景下的复合性挑战

WAM 目前最常在单一交互上下文中的短程操作任务上被评估。但真正的具身通用性，要求模型在扩展的任务时间跨度上进行持续推理（sustained reasoning）。综述指出，当前架构在该区间下面临复合性挑战（compounding challenges）：

1. 世界模型预测的分布漂移（distributional drift） 在长程 rollout 中不断累积；
2. 在缺乏纠正性重规划的情况下，动作误差会复合放大；
3. 将完整的长程任务轨迹表示为连续的生成输出，既在计算上代价高昂，也缺乏架构层面的支持。

因此，一个有原则的层次化世界-动作建模框架（hierarchical world-action modeling）——在统一的、可学习的架构内，将高层语义任务分解与低层物理预测连接起来——仍是一个关键的开放挑战。

7.4.2 通向长程推理的三条互补路径

综述构想了三条互补的长程推理路径：

路径一：模块化层次（Modular Hierarchy）
WAM 作为低层物理执行器，由高层规划器（如视觉-语言模型 VLM）引导，将复杂任务分解为语义子目标（semantic subgoals）。这是"规划-执行"分工的经典思路在 WAM 语境下的复兴。

路径二：内禀层次化 WAM（Intrinsic Hierarchical WAM）
一种能在单一架构内生成多分辨率未来预测（multi-resolution future predictions） 的设计——同时为战略性规划预测粗粒度的状态转移，为反应式控制合成细粒度的物理细节。这种"双分辨率"预测让同一模型既见森林、又见树木。

路径三：时间上下文的扩展（Scaling Temporal Context）
通过架构创新扩展 WAM 的"记忆"，使其能够维护丰富的历史状态信息，而不承受标准注意力机制的二次开销（quadratic overhead）。这指向线性注意力、状态空间模型、或分层记忆等方向。

三条路径最终是否会收敛为统一的、端到端可学习的层次，还是保持为专门化模块组成的复合系统——这是下一代 WAM 研究的一个奠基性问题。

---

7.5 推理延迟与计算效率（Inference Latency and Computational Efficiency）

7.5.1 世界预测带来的"延迟税"

世界预测的集成强加了一项沉重的**“延迟税”（latency tax），直接威胁闭环控制的可行性。早期的级联流水线因各独立模块的累积延迟而饱受困扰；而现代联合式 WAM 仍然难以满足高保真操作所需的毫秒级响应频率**。

综述给出了一个鲜明的数字对照：DreamZero 通过算法加速与底层 CUDA 优化，将 WAM 推理推向约 7 Hz；然而这仍显著落后于当代非生成式 VLA 策略 50 Hz 的标准。根本性的张力依然存在：

WAM 丰富的物理预见性（foresight），能否在实时电机控制的时间分辨率下被保留下来？

7.5.2 任务自适应的预测保真度

支撑这一挑战的，是一个鲜少被直接研究的理论问题：下游控制究竟需要多少预测保真度（predictive fidelity）？

如果性能增益在远未达到完整扩散合成质量之前就已趋于平缓（level off），那么目标就不应是"让高保真预测变得更快"，而应是：

识别出给定任务的最小充分世界模型（minimal sufficient world model），并据此行动。

这指向任务自适应的预测保真度（task-adaptive predictive fidelity）：模型根据任务需求与误差容忍度，动态调整预测的深度与分辨率——在精度关键处投入计算，在其余地方使用更粗的近似。这是一种"按需精度"的思想，把算力预算花在刀刃上。

经典论文：PlaNet — 与 WAM 的关系及核心创新：PlaNet 引入循环状态空间模型（RSSM），将确定性与随机性成分结合以同时刻画可预测动力学与不确定性，是从"潜在动力学规划"走向现代世界模型的奠基之作，也是 WAM 延迟-保真度权衡讨论中"潜在空间预测优于像素预测"这一思路的早期范例。

经典论文：Dreamer（Dream to Control） — 与 WAM 的关系及核心创新：Dreamer 把 PlaNet 的潜在世界模型从"用于规划"推进到"用于策略学习"，证明了基于潜在想象的模型预测式强化学习的有效性，是"在抽象表征中预见未来以驱动动作"这一 WAM 核心理念的经典实现。

---

7.6 评测方法学（Evaluation Methodology）

7.6.1 当前评测的严重割裂

综述指出，当前 WAM 评测存在一种严重的割裂（severe decoupling）：

• 世界建模通常通过像素级指标评估，如 PSNR、FVD。这些指标捕捉视觉合理性（visual plausibility），却忽视物理正确性——结果就是，那些物体悬空漂浮、流体违反重力的视频，照样能得高分。
• 反之，动作生成则仅由下游任务成功率来衡量。

这种割裂的范式直接忽视了 WAM 的核心前提。WAM 生态系统中一个关键的缺失环节，是缺乏联合评测指标（joint evaluation metrics）——能够量化"想象出的未来"与"生成的动作"之间因果一致性（causal consistency） 的指标。

7.6.2 两类关键的耦合指标

为弥合这一鸿沟，未来的基准必须引入耦合指标（coupled metrics），探查视觉预测与物理执行之间的因果链。综述具体给出两个示例性指标：

指标	含义
反事实一致性（Counterfactual Consistency）	量化动作如何随想象未来的扰动而自适应调整——即若想象未来发生反事实变化，动作是否相应改变
预见条件化成功率（Foresight-Conditioned Success）	确保执行轨迹严格遵循生成的视觉计划，而非依赖虚假相关性（spurious correlations）

评测模型所"想象"的内容与所"物理执行"的内容之间的**“意图对齐（intent alignment）”**，是确保动作真正扎根于准确视觉预见、而非记忆数据集偏差的必要条件。

7.6.3 共享基准框架的愿景

超越单个指标，综述认为社区将受益于一个围绕 WAM 核心前提设计的共享基准框架：其中世界预测质量与动作质量被联合地、并相对于彼此地评估，而非通过各自独立的排行榜。

这样一个框架，在雄心上类似于标准基准曾为视觉识别或语言理解所提供的贡献，能帮助社区就"WAM 真正’在起作用’意味着什么"达成共识——不仅仅是预测出合理的未来，也不仅仅是成功完成任务，而是生成可证明地扎根于准确物理预见的动作。

---

7.7 安全性与可靠的物理部署（Safety and Reliable Physical Deployment）

7.7.1 超越反应式策略的安全考量

部署到物理环境中的 WAM，引入了超越传统 VLA 策略有界反应式失效（bounded reactive failures） 的安全考量。一个自信地想象出错误物理未来的模型，可能据此执行一段漫长的动作序列，其真实世界后果难以中断或恢复，可能对物体、环境或人员造成伤害。

但与此同时，WAM 的预测能力也为安全执行提供了有原则的机遇：世界预测原则上可以在预测动作被执行之前，与物理约束或保守的不确定性估计进行校验（checked against physical constraints or conservative uncertainty estimates）。要将这一机遇落到实处，需要把安全验证（safety verification） 集成进推理流水线，且方式必须在计算上可行、并对分布漂移具有鲁棒性——随着 WAM 能力与部署野心的持续扩张，这仍是一个重大开放挑战。

7.7.2 WAM 范式的未充分探索的对偶性

综述进一步指出，安全挑战凸显了 WAM 范式中一个未充分探索的对偶性（underexplored duality）：

让这些模型比反应式策略更具能力的同一预测能力，也使其失效模式可能更具后果。

把这一对偶性转化为优势，意味着不仅用世界预测来引导动作，更要在执行之前用它来验证动作。这指向预测集成式安全（prediction-integrated safety）：把对想象未来的不确定性估计视为安全监视器（safety monitor）的一等输入（first-class inputs），而非偶然的副产品。

至于这样的监视器能否在开放世界部署中做到既计算可行、又对分布漂移足够鲁棒，从而真正有意义——这一点仍有待确立。

经典论文：Sora / Sora 2 — 与 WAM 的关系及核心创新：Sora 系列将视频生成模型推向"世界模拟器"的定位，是 WAM 中"未来帧生成"范式的工业级参照。其高保真视觉预见既展示了世界建模的潜力，也暴露了纯像素指标下"物理违反仍得高分"的评测盲区，是本章讨论评测方法学与安全性时的重要背景。（注：references 中 Sora 2 条目无 arXiv URL，此处链接为其官方页面。）

经典论文：LDM（Latent Diffusion Models） — 与 WAM 的关系及核心创新：LDM 把扩散过程从像素空间移到压缩的潜在空间，大幅降低计算开销。它为 WAM 中"潜在预测式"耦合、以及"任务自适应预测保真度"等效率导向议题提供了关键的方法学先例。

---

本章小结

综述第 7 章将 WAM 的开放挑战组织为七大议题，它们共同勾勒出通往通用物理智能的下一阶段议程：

1. 架构耦合：在匹配条件下系统比较级联、联合扩散、离散化、隐式对齐等范式；并严肃质疑像素预测的必要性，探索以 JEPA 为代表的潜在预测式耦合，将其视为绕开像素瓶颈、聚焦因果不变量的高效路径——但隐式表征能否维持同等接地质量仍是开放问题。

2. 多模态物理状态表征：RGB 视觉对触觉、力、声学、柔顺性等富接触关键信息存在系统性盲区，需将"世界状态"重新定义为多模态联合分布，并发展模态自适应预测以在传感器受限时优雅退化。

3. 数据利用与混合设计：从经验性超参调节走向信息论视角，将非机器人数据的价值解耦为"低层物理先验—中层因果动力学—高层任务逻辑"的层次，并发展具身感知过滤机制以蒸馏通用物理律、抑制运动学不兼容行为。

4. 长程规划与时间抽象：面对分布漂移累积、动作误差复合、长程轨迹生成不可行等复合挑战，构想模块化层次、内禀多分辨率 WAM、时间上下文扩展三条互补路径，其是否收敛为统一可学习层次是奠基性问题。

5. 推理延迟与计算效率：世界预测带来沉重"延迟税"（DreamZero 约 7 Hz vs. 非生成式 VLA 50 Hz），核心在于回答"下游控制究竟需要多少预测保真度"，并走向任务自适应的预测保真度与"最小充分世界模型"。

6. 评测方法学：当前世界建模（PSNR/FVD）与动作生成（任务成功率）的评测严重割裂，需引入反事实一致性与预见条件化成功率等耦合指标，建立联合评估世界预测与动作质量的共享基准框架。

7. 安全性与可靠部署：WAM 的预测能力既是能力之源也是风险之源，形成"能力—后果"对偶性；应走向预测集成式安全，将想象未来的不确定性估计作为安全监视器的一等输入，在执行前校验动作——其计算可行性与对分布漂移的鲁棒性仍有待确立。

贯穿这七大议题的主线是综述开篇即强调的判断：超越渐进式扩展，从架构、接地与验证三方面进行根本性重构。WAM 的下一程，不在于把现有范式做得更大，而在于回答"什么样的耦合、什么样的状态、什么样的预测保真度、什么样的评测与什么样的安全机制，才是物理接地所真正需要的"。这些问题的答案，将决定世界动作模型能否从一种有前景的范式，成长为通用的物理智能基础设施。

---

第8章 结论与展望

世界动作模型（World Action Model, WAM）代表了具身智能从"反应式映射"走向"预测式理解"的关键一跃。在前面的章节里，我们系统地梳理了 WAM 的概念边界、历史根基、分类法、生成范式、数据生态与评测协议，并在第 7 章列出了制约其进一步发展的开放性挑战。本章作为全篇综述的收束，将回顾整篇综述所做的贡献，并展望当生成式世界建模与机器人学持续融合时，WAM 研究所蕴含的潜力与方向。

需要说明的是，第 8 章本身是综述的总结性章节，其论述高度凝练；为帮助读者把握综述的整体脉络与 WAM 在其中的定位，本章在忠实呈现源文结论的同时，会适度回扣前文（尤其是第 7 章）所刻画的挑战与未来轨迹，使"结论"不止于复述，而能成为一张可被反复回查的导航图。

8.1 综述的核心贡献

本综述提供了对世界动作模型（WAM）景观的首次系统性、批判性分析，并将其定位为具身智能的一个关键前沿。综述所建立的贡献可从五个维度加以归纳。

8.1.1 建立清晰的概念框架

综述的首要工作是为这一新兴范式划定术语边界与概念坐标。具体而言，综述：

• 正式定义了 WAM：将其界定为"统一预测式状态建模与动作生成"的具身基础模型，其目标不再只是预测动作，而是建模未来状态与动作的联合分布，而非仅动作本身。用概率语言可粗略写作：

$${\mathcal{M}}_{\mathrm{WAM}}:p_{\theta }(s_{t+1:t+H},a_{t:t+H-1}\mid o_{\le t},\mathcal{I})$$

其中 $o_{\le t}$ 为历史观测，$\mathcal{I}$ 为语言或目标等条件，$s_{t+1:t+H}$ 为未来状态序列，$a_{t:t+H-1}$ 为相应动作序列。与仅学习 $p(a\mid o)$ 的反应式 VLA 策略相比，WAM 把"世界如何随干预而演化"显式地纳入了建模目标。

• 厘清了与相关方法论的区别：将 WAM 与传统世界模型、视觉-语言-动作（VLA）模型、视频生成模型等相邻概念加以辨析，避免术语混用。

经典论文：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — 与WAM的关系及核心创新：RT-2 是将互联网级视觉-语言知识迁移到机器人控制的代表性 VLA 模型，是 WAM 概念辨析中"反应式 VLA"一侧的重要参照系。其核心创新在于把机器人动作离散化为 token、与语言 token 统一在同一Transformer 中联合训练，使大模型语义泛化能力得以延伸到操控策略。

经典论文：OpenVLA: An Open-Source Vision-Language-Action Model — 与WAM的关系及核心创新：OpenVLA 是开源 VLA 的代表，构成了 WAM"动作生成"支线的重要基线。其核心创新是以开源、可复现的方式构建了基于开源视觉-语言底座的高性能 VLA，并通过高效微调适配多种机器人本体。

8.1.2 架构分类法：级联式与联合式

综述将 WAM 多样的架构策略归纳为两大范式，并在每个范式内部进一步按生成模态、条件机制与动作解码策略加以细分：

• Cascaded（级联式）WAM：世界预测与动作生成由先后串联的模块完成——先生成想象中的未来，再据此解码动作。其优点是模块解耦、便于复用现成视频/世界模型，缺点是延迟累积、误差逐级放大。
• Joint（联合式）WAM：世界预测与动作生成在同一主干（如联合扩散骨干）中协同完成，二者共享表征、互为梯度信号。其优点是耦合更紧、表征更一致，但对架构设计与算力要求更高。

经典论文：Learning Universal Policies via Text-Guided Video Generation (UniPi) — 与WAM的关系及核心创新：UniPi 是级联式 WAM 的奠基性工作之一，把"文本引导的视频生成"作为通用策略的载体，先想象未来再抽取动作。其核心创新在于指出视频生成模型可作为通用策略的隐式表示，开启了"以生成式世界建模驱动动作"的研究路径。

这一分类法不仅是描述性工具，更是后续比较不同耦合机制（显式视觉预测是否必要、级联与联合在下游控制上的差异、各机制提供的归纳偏置）的分析骨架——而这些正是第 7 章"架构耦合"挑战所呼吁的系统化对照研究。

8.2 世界模型根基的回溯

WAM 并非凭空出现。综述追溯了世界模型与 VLA 研究的早期整合历程，指出 WAM 的根基深植于两类长期独立发展的工作之中。

8.2.1 潜在动力学世界模型谱系

从 PlaNet 到 Dreamer 系列，潜在动力学世界模型为 WAM 提供了"在抽象表征中预测未来、并据此规划/学习"的方法论原型。

经典论文：Learning Latent Dynamics for Planning from Pixels (PlaNet) — 与WAM的关系及核心创新：PlaNet 奠定了"在学习的潜在空间中建模动力学并用于规划"的范式，是 WAM"潜在状态预测"思想的源头之一。其核心创新是循环状态空间模型（RSSM）与潜在空间中的轨迹优化，把高维像素压缩为可规划的紧凑状态。

经典论文：Dream to Control: Learning Behaviors by Latent Imagination (Dreamer) — 与WAM的关系及核心创新：Dreamer 把"在想象中学习"做到端到端，是 WAM"以世界模型驱动动作"的重要先驱。其核心创新是在潜在空间中通过 Actor-Critic 反向传播价值与策略梯度，实现了"想象即训练"。

经典论文：Mastering Diverse Domains through World Models (DreamerV3) — 与WAM的关系及核心创新：DreamerV3 展示了单一世界模型算法跨多种领域（Atari、视觉操控、机械臂等）的鲁棒扩展，强化了"通用世界模型"作为具身智能底座的可行性。其核心创新在于一系列无需调参的稳定性技巧与信号缩放策略，使世界模型首次在跨域尺度上稳定收敛。

经典论文：DayDreamer: World Models for Physical Robot Learning — 与WAM的关系及核心创新：DayDreamer 将潜在想象式世界模型首次落地到真实机器人学习，是 WAM 走向物理世界的早期桥梁。其核心创新是在真实机器人上以世界模型想象进行高效策略学习，显著降低真实环境交互量。

8.2.2 生成式视频模型谱系

另一支脉来自生成式视频建模——从潜在扩散模型（LDM）到视频扩散，这些工作为 WAM 提供了高保真、可控的未来视觉预测能力。

经典论文：High-Resolution Image Synthesis with Latent Diffusion Models (LDM) — 与WAM的关系及核心创新：LDM 提出的潜在扩散范式是当代视觉/视频生成世界模型的计算基础，WAM 中的像素空间预测大多承袭其"在潜在空间扩散再解码"的思路。其核心创新是将扩散过程从像素空间移至学习的潜在空间，大幅降低计算成本并支持高分辨率生成。

经典论文：Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — 与WAM的关系及核心创新：SVD 展示了潜在视频扩散模型在大规模数据上的扩展规律，为级联式 WAM 所依赖的视频生成器提供了可扩展的训练范式。其核心创新是高质量视频数据筛选流程与时间条件微调，使视频扩散在时序一致性上达到可用水平。

经典论文：Genie: Generative Interactive Environments — 与WAM的关系及核心创新：Genie 是"可交互生成式环境"的代表，可视为非具身场景下的潜在动作世界模型，其思路与 WAM 中"潜在动作"驱动的世界预测高度相通。其核心创新是从无标注视频中自监督学习潜在动作与可控的未来帧生成，使模型能在不依赖动作标签的情况下生成可被"操控"的环境。

8.3 数据生态与评测协议的综合

综述进一步综合了两条对 WAM 持续发展至关重要的支撑性主线。

8.3.1 可扩展的训练数据集

WAM 的训练数据横跨四类来源：机器人遥操作数据、便携式人类演示（如以 UMI 为代表的无机器人数据采集）、仿真数据，以及互联网规模的自我中心视频。综述指出，已有工作表明引入自我中心人类视频等非机器人数据可显著提升下游操控性能，但其最优混合设计原则尚不清楚——这正是第 7 章"数据利用与混合设计"挑战的核心：需以信息论视角厘清非机器人数据在 grounding 中扮演的多重角色（低层物理先验、中层因果动力学、高层任务逻辑），并发展出本体感知式过滤机制。

8.3.2 多维评测协议

综述总结了正在涌现的多维评测协议，覆盖三个正交维度：

评测维度	关注的核心问题	典型指标/方法
视觉保真（Visual Fidelity）	想象的未来在视觉上是否逼真、时序是否一致	PSNR、FVD 等像素级指标
物理常识（Physical Commonsense）	预测是否遵循物理规律（重力、支撑、接触等）	反物理异常检测、物理一致性探针
动作合理性（Action Plausibility）	生成的动作能否在真实/仿真环境中完成任务	下游任务成功率、轨迹可执行性

需要强调的是，综述（及第 7 章"评测方法论"挑战）指出当前评测存在严重割裂：世界建模以像素级指标评估、动作生成仅以任务成功率评估，二者缺乏联合度量。综述呼吁引入"反事实一致性（Counterfactual Consistency）""预见条件化成功率（Foresight-Conditioned Success）“等耦合指标，量化"想象未来"与"执行动作"之间的因果一致性——即评测"意图对齐”。

8.4 开放挑战与未来轨迹的承接

第 8 章明确指出，综述基于当前发展状态，列出了关键开放挑战与未来轨迹以指引下一阶段研究。这些挑战在前一章已详细展开，此处作凝练回顾，以便与结论形成闭环：

1. 架构耦合（Architectural Coupling）：在控制规模、数据、评测协议的条件下，系统比较级联式、联合扩散、离散 token 化、隐式表征对齐等范式；并严肃追问"显式像素空间预测是否必要"——已有迹象表明，世界建模的主要收益可能来自训练期的辅助梯度，而非推理时的显式未来帧生成，这为以 JEPA 为代表的潜在预测范式打开了空间。

经典论文：V-JEPA 2: Self-Supervised Video Models Enable Planning — 与WAM的关系及核心创新：V-JEPA 2 是联合嵌入预测架构（JEPA）在视频上的代表，为 WAM"以潜在预测替代像素重建"提供了实证依据与方法范式。其核心创新是在潜在空间以掩码预测学习视频动力学，无需像素级重建即可获得可用于规划的物理直觉，契合综述所倡导的"绕开像素预测瓶颈"的方向。

2. 多模态物理状态表征（Multimodal Physical State Representation）：超越 RGB，联合预测触觉、力、本体感觉等模态，并发展"模态自适应预测"——在富传感流可用时生成物理接地预测，否则优雅降级为纯视觉推理。
3. 数据利用与混合设计（Data Utilization and Mixture Design）：从经验式超参调优转向信息论视角，发展本体感知式过滤机制，从异质源中蒸馏通用物理规律、抑制与目标机器人运动学不兼容的行为。
4. 长程规划与时间抽象（Long-Horizon Planning and Temporal Abstraction）：通过模块化层级、内生层级 WAM、时间上下文扩展三条互补路径，应对分布漂移累积、动作误差复合、长程轨迹生成不可行等难题。
5. 推理延迟与计算效率（Inference Latency and Computational Efficiency）：化解世界预测带来的"延迟税"，转向"任务自适应预测保真度"——动态调整预测深度与分辨率，在需要精度处投入算力、在余处使用粗近似。
6. 评测方法论（Evaluation Methodology）：建立世界预测质量与动作质量联合、相互关联评测的共享基准框架。
7. 安全与可靠物理部署（Safety and Reliable Physical Deployment）：将预测性能力转化为安全优势，发展"预测集成式安全"——把对想象未来的不确定性估计作为安全监控器的一等输入，在动作执行前进行核验。

这七条挑战共同传递了一个核心判断：通往通用物理智能的道路，不能仅靠增量式扩展，而需要从架构、grounding 与验证三个层面重新思考世界模型的设计范式。

8.5 WAM 的总体定位与愿景

综述最后给出了对 WAM 范式的总体定位。随着生成式世界建模与机器人学持续融合，WAM 研究蕴含着巨大潜力（holds immense promise）。综述希望其工作能够：

• 澄清该领域的术语边界——为"什么算 WAM、什么不算"提供可操作的定义；
• 描绘其架构设计空间——以级联/联合分类法及细分的生成模态、条件机制、动作解码策略，给出一张可比较的设计地图；
• 为通用具身智能体的追求做出实质性贡献——不仅梳理现状，更指明未来轨迹。

换言之，综述的自我定位不是一份静态的文献清单，而是一份面向"通用具身智能体"这一长期目标的导航与议程。它把 WAM 从一个零散的、跨架构、跨目标、跨场景的文献集合，凝聚为一个有共同概念骨架、有可比设计空间、有明确开放问题的统一研究领域。

从更宏观的视角看，WAM 所代表的范式转变可归结为一句话：从 token 级预测走向 state 级预测。当模型不再仅仅预测"下一个词"，而是预测"世界在干预下的下一个状态"，具身智能便从模式匹配走向了物理理解。这正是 WAM 被称为"具身智能下一前沿"的根本原因，也是本综述将其立为关键前沿的逻辑所在。

本章小结

• 第 8 章总结全篇综述：首次对 WAM 景观进行系统性、批判性分析，将其定位为具身智能的关键前沿。
• 综述建立了清晰的概念框架——正式定义 WAM 为统一预测式状态建模与动作生成、建模未来状态与动作联合分布的具身基础模型，并与相关方法论加以辨析。
• 综述提出级联式（Cascaded）与联合式（Joint）两大架构范式，并按生成模态、条件机制、动作解码策略进一步细分。
• 综述综合了可扩展训练数据集（机器人遥操作、便携人类演示、仿真、互联网级自我中心视频）与多维评测协议（视觉保真、物理常识、动作合理性）两大支撑主线。
• 综述基于当前发展状态，列出七大开放挑战与未来轨迹：架构耦合、多模态物理状态表征、数据混合设计、长程规划与时间抽象、推理延迟与计算效率、评测方法论、安全与可靠物理部署。
• 总体判断：通往通用物理智能需在架构、grounding 与验证三层面重新思考世界模型，而不仅是增量扩展；WAM 的核心范式转变是"从 token 级预测走向 state 级预测"，这也是其被视为具身智能下一前沿的根本理由。

---