26年7月来自阿里高德视觉实验室（AMAP CV Lab）的论文“ABot-M0.5: Unified Mobility-and-Manipulation World Action Model”。

移动操作（mobile manipulation）是通用机器人的一项关键能力，但对于当前的具身学习方法而言，它仍极具挑战性。VLA策略通常是反应式的，缺乏显式的世界建模；而现有的世界动作模型（WAMs）与移动操作的结构特征匹配度不高：它们基于粗粒度的视频片段进行操作，将导航与操作动作混合建模，且其逆动力学训练方式与自回归推理过程不匹配。因此，这些模型往往无法捕捉细粒度的接触动力学，面临动作分布冲突问题，并在长时程推演中累积误差。

ABot-M0.5，是一种基于以下洞察构建的 WAM：移动操作需要在时间粒度、动作空间和训练-推理一致性这三个层面上实现对齐；为了对齐时间粒度，引入中间潜动作（intermediate latent actions），用于捕捉局部视觉状态转换，并作为连接视频潜表征与具身特定控制指令的桥梁；为了对齐动作空间，设计一种双层混合Transformers（MoT）架构，实现模态表征与异构动作子空间（如底盘移动与机械臂操作）的解耦；为了对齐推理条件，提出“梦境驱动”（dream-forcing）训练策略，即在模型预测的视频序列上逐步训练逆动力学，从而提升训练与推理的一致性以及自回归预测过程中的鲁棒性。如图1 所示：

在具有挑战性的移动操作与细粒度操作基准测试中，ABot-M0.5 均展现出最先进（SOTA）的性能，无论是在长时程任务成功率还是细粒度控制精度方面。

---

1 问题设定

本文研究的是受语言指令驱动的移动操作任务，其中机器人需要在视觉复杂的环境中，通过协同执行导航与物体交互动作来完成长时程（long-horizo​​n）任务 [32, 60, 74]。

在每个时间步 t，智体接收语言指令 l、多视角视觉观测 o_t，以及可选的过往观测与动作历史。其目标是生成底层的可执行动作，从而在较长的时间跨度内完成任务，同时保持与未来环境演变的一致性。

给定观测历史 o_{<=t}、动作历史 a_{<t} 和语言指令 l，策略的目标是预测时间跨度 H 内的未来行为。在反应式策略中，这通常被表述为针对长度为 H 动作序列片段的直接条件映射。

当所需动作主要取决于当前观测且时间跨度较短时，这种表述方式是有效的。然而，在移动操作（mobile manipulation）场景中，这种方法变得愈发脆弱；因为在此类场景下，未来的决策不仅取决于当前状态，还取决于环境在机器人自身未来动作影响下预期的演变情况。

世界动作模型（World Action Models，简称 WAMs）通过联合建模未来观测和未来动作来解决这一局限性 [3, 33, 71, 73, 76]。令 z_{t+1:t+H} 表示时间跨度 t+1 至 t+H 内未来观测的压缩视频潜表示（latent）。WAM 不直接根据当前观测预测动作，而是对结构化的未来轨迹进行建模。
这种表述引入了显式的未来世界建模，并为长时程推演（rollout）提供一种自然的接口，因为未来状态预测和动作预测被整合在同一个自回归过程中。

然而，将现有的世界-动作模型（WAM）直接应用于移动操作（mobile manipulation）尚显不足。移动操作与固定式操作至少在三个方面存在差异。首先，由于机器人的移动，未来的世界演变涉及更大的视角变化和更多样化的场景转换。其次，动作空间变得异构，因为移动和操作指令必须由同一策略生成。第三，推演的鲁棒性变得至关重要，因为在长时程移动任务中，微小的预测误差会随时间推移而累积放大。

这些差异表明，不应仅仅将移动操作视为固定式操作的放大版。相反，应将其视为一个“世界-动作学习”问题，该问题对表征、控制和推演的结构有着更严格的要求。

具体而言，移动操作的核心挑战在于连接两个本质上截然不同的空间：一是捕捉全局世界演变的粗粒度、长时程未来视频隐变量 z_{t+1:t+H}；二是细粒度、异构的可执行机器人动作 a_{t:t+H-1}。由于两者之间存在巨大的粒度和语义鸿沟，将视频隐变量直接映射为可执行的机器人动作极具挑战性。

理想情况下，一个成功的移动操作策略应当学习一种连贯的分层过程：首先预测视觉世界的演变（z_{t+1}），然后将这种宏观演变提炼为捕捉局部视觉状态转换的帧级中间运动意图，最后将这些意图落实为针对具体机器人形态的底层控制指令（a_t）。

然而，如何有效地定义、学习并对齐这一中间空间，仍是一个悬而未决的问题。下面通过引入“潜动作”（latent actions）来具体实现这一桥梁空间，并结合专门设计的架构与训练策略，以实现完全对齐。

2 移动操作任务中的核心瓶颈

基于上述表述，现有方法的主要局限性不仅仅在于模型规模不足，更在于当前世界模型（WAMs）的训练方式与移动操作任务的需求之间存在结构性不匹配 [3, 73, 76]。本文归纳出三个核心瓶颈：

时间粒度不匹配。现有的世界模型通常以时间上“压缩的分块（chunk）”为单位来建模未来观测。这种设计虽然计算效率高且适用于长时程视频预测，却导致了世界建模的时间粒度与控制生成的时间粒度不匹配。在实际应用中，未来的视频潜表征（latent representations）可能概括片段内的多个帧，而机器人动作往往需要在每一帧或每一个控制步长上生成。

这种不匹配在移动操作任务中尤为棘手，因为该类任务的成功往往取决于细粒度的交互。诸如抓取闭合、接触发生、物体释放、精细对齐以及局部避障等行为，通常发生在极短的时间窗口内。若仅在粗略的片段层级进行世界建模，这些局部状态转换可能会被平滑处理或遗漏，导致策略难以恢复执行所需的精确运动意图。

动作结构不匹配。移动操作引入一种异构动作空间，这与固定式操作的动作空间截然不同。机器人既要控制全局移动，又要控制局部操作，而这两种行为遵循完全不同的动力学规律。底盘移动往往具有低频、平滑和全局导向的特点；相比之下，机械臂操作则具有高频、局部化以及对接触密集型动力学敏感的特性。若将二者视为一个耦合的动作空间，模型便被迫在单一共享表征内针对相互冲突的模式进行优化。
这种不匹配带来了两个后果。首先，它增加了优化难度。源自移动主导轨迹和操作主导轨迹的梯度可能会相互干扰，阻碍模型有效地针对任一模式进行特化。其次，它削弱了组合性。在许多移动操作任务中，底盘控制与机械臂控制既需要在结构上保持独立，又必须相互协调配合。

推演条件不匹配。第三个瓶颈源于逆动力学（inverse dynamics，ID）的训练方式与推理阶段实际生成动作的方式之间的差异。在训练过程中，逆动力学通常以真实的未来观测或其潜表征为条件；然而，在推理阶段，此类真实的未来信息是不可获取的。相反，该模型必须基于其自身预测的视觉演变过程（visual rollouts）来采取行动；这些预测不可避免地包含噪声、不确定性，有时甚至会出现严重的错误，如图像模糊、物体漂移或产生“幻觉”内容。

这种训练与测试阶段的不匹配在“世界-动作”学习中引发一种“暴露偏差”（exposure bias），这与序列预测及模仿学习领域所研究的“分布偏移”（distribution shift）问题相关 [2, 56]。逆向动力学模型是在理想的未来条件下进行优化的，但在实际部署时，面对的却是模型自身生成的、存在缺陷的未来状态。在长时程移动操作任务中，这种偏差会随时间推移而累积，最终可能导致执行失败。

总结。这三大瓶颈揭示一个共同特征：现有方法与移动操作任务的结构特性之间缺乏足够的适配性。粗略的视觉预测与精细控制不匹配，耦合的动作学习与异构的机器人行为不匹配，而基于真值（ground-truth）条件的训练则与自回归部署模式不匹配。

ABot-M0.5 的设计正是基于这一观察结果。其完整的模型包括用于时间对齐的潜动作（latent actions）、用于结构化动作建模的双层混合Transformer架构，以及用于实现演变过程对齐的逆向动力学学习方法——Dream-Forcing。

---

1 整体架构与符号表示

ABot-M0.5 是一种基于 Wan2.2 视频扩散主干网络 [66] 构建的视频-动作WAM。给定语言指令 l 和多视角观测序列，该模型在一个统一的生成框架内，联合建模未来的视频潜表示（latents）、帧级潜动作以及可执行的机器人动作。

在感知阶段，3D VAE 将连续的视频观测 o_t = {I⁽¹⁾_t, . . . , I^(N_c)_t} 压缩为紧凑的时空视频潜表示 z_t，同时文本编码器（如 UMT5）将 l 映射为条件特征。关键在于，其引入帧级潜动作 m_t 来捕捉局部视觉状态转换，作为粗粒度视频潜表示与细粒度控制之间的桥梁表征。
生成过程遵循针对无噪（clean）变量的结构化级联方式：

z_t+1 → m_t → a_t，

其中 z_t+1、m_t 和 a_t 分别表示干净的未来视频潜变量、干净的潜动作和干净的可执行动作。这种分解将直接的视频-到-动作预测分解为三个不同的阶段：世界建模、运动抽象和控制生成。

为了优化这种分层级联，采用条件流匹配 (CFM) 作为所有阶段的统一生成目标。以第一阶段（世界建模）为例，给定真实干净的视频潜变量 z_t+1 和标准高斯噪声 ε ∼ N (0, I)，在时间步 τ ∼ U(0,1) 构建一个条件概率路径。

关键在于，用于条件化 z_t+1 的上下文严格仅包含历史状态（z_≤t, m_<t, a_<t）及语言指令 l。后续阶段（预测 m_t 和 a_t）遵循类似的 CFM 目标，但其感受野会逐步扩大，并以级联序列中先前生成的变量作为条件（例如，基于预测出的 z_t+1 来条件化 m_t）。这种设计在数学上确保训练时的信息流与推理阶段的自回归生成顺序完全一致。

在架构层面，该模型处理三条并行的 Token 流：X^z_{t+1}、X^m_t 和 X^at 分别对应视频潜表征tokens、潜动作tokens和动作tokens。为了体现上述条件目标所规定的因果依赖关系，强制实施一种非对称的信息流：视频潜tokens（X^z{t+1}）被屏蔽，无法关注潜动作tokens（X^m_t），这是因为在视频预测过程中，未来的动作本质上是未知的。相反，动作tokens（X^a_t）显式地关注 X^m_t，从而确保最终控制建立在细粒度动作意图的基础之上。

为了实现这种对齐，该架构整合三个关键机制：(1) 弥合时间粒度差异的“中间潜动作建模”模块；(2) “双层混合 Transformer”（D-MoT），它在结构上解耦异构动作子空间（例如，基础移动与手臂操作），同时保持针对模态的特定优化；以及 (3) “梦境驱动机制”（Dream Forcing Mechanism），该机制使动作流能够接触到自生成的视觉预测，从而从根本上解决训练与测试阶段的分布偏移问题。

图 2 展示 ABot-M0.5 的整体架构：

表 1 总结核心符号：

2 中间潜动作建模

将粗粒度视频潜表征直接映射到底层动作会导致严重的时间和结构不匹配。为解决这一问题，ABot-M0.5 引入帧级潜动作 (m_t) 作为一种与具体具身形态无关的中间表征。该设计将生成过程分解为结构化的三阶段级联流程。具体而言，模型首先预测未来的视频潜表征 z_t+1，以捕捉宏观的环境演变（阶段 1）；随后，将这些粗粒度动态细化为帧级潜动作 m_t，以表征细粒度的运动意图（阶段 2）；最后，将这些意图转化为特定具身形态下的可执行动作 a_t（阶段 3）。通过显式建模这种层级结构，系统实现与具身形态无关的物理先验和特定硬件运动学特性的解耦，从而支持在异构机器人平台间实现稳健的泛化。

潜动作提取与对齐。潜动作的一个关键优势在于，它们仅依赖于视觉状态的转换，因此无需机器人运动学标签，即可从大规模、不含动作标注的视频数据集中进行提取 [34, 62, 72]。给定连续帧 (I_t, I_t+1)，用一个冻结的预训练潜动作编码器 E_m 来提取局部运动表征。

在多相机设置中，从每个视角提取潜动作，并将其组织成统一的时空张量。对于包含 H 个控制步长和 N_c 个相机视角的片段，聚合后的潜动作张量结构表示为 M = {m_view}。

基于这种表述，无论底层的机器人形态如何，相似的物理交互（例如抓取物体）都会被映射到共享潜动作空间 M 中的相近区域。这种对齐对于在不同具身形态（embodiments）之间迁移物理先验至关重要。

面向潜动作的条件流匹配。将潜动作的生成建模为条件流匹配（CFM）问题；这是一种无需仿真的目标函数，正日益广泛地应用于连续动作机器人策略中 [4, 37, 52, 53]。损失函数 L_m 引导模型通过迭代去噪过程合成高保真潜动作。通过仅基于预期世界动态条件下的视觉状态转移进行训练，模型能够捕捉到细粒度且与具体具身形态无关的运动意图，从而稳健地指导下游的控制解码器。

3 双层混合Transformers

尽管潜动作（latent actions）解决了世界建模与控制之间的时间粒度不匹配问题，但移动操作任务还需要对异构动作动态进行结构化处理。为此，ABot-M0.5 引入双层混合Transformer 架构（D-MoT），旨在模态层面和动作层面分别实现异构性的解耦。

模态层面的解耦。D-MoT 的第一层级作用于三条并行的 Token 流：视频潜表示（X^z）、潜动作（X^m）和可执行动作（X^a）。尽管这些流共享同一个 Transformer 主干网络以进行跨模态推理，但它们在语义和时间角色上存在本质差异。为了防止表征坍缩（representational collapse），每种模态都配备专用的输入投影层、时间步嵌入层和输出头。这种设计确保模型为世界动态、运动意图和硬件控制维持各自独立的表征空间，同时通过共享的自注意力层实现灵活的信息交互。

动作层面的解耦。D-MoT 的第二层级严格作用于可执行动作流（X^a）。在移动操作中，动作向量本质上包含移动（mobility）和操作（manipulation）两个维度，它们表现出截然不同的时间频率特征和物理损失函数形态。若使用单一的同构输出头同时预测这两者，往往会导致梯度干扰问题，即高频的操作信号会主导或破坏低频移动预测的稳定性。

为应对这一挑战，将动作空间显式解耦为两个独立的子空间：操作空间（a^manip）和移动空间（a^move）。具体而言，如图 3 所示，实施严格的通道-到-子塔（channel-to-subtower）分配策略，使每个子塔都拥有专用的前馈网络（FFN）和预测头。这种设计使每个子塔能够专注于其特定的动作空间，从而确保底盘移动与机械臂操作之间的学习动态实现严格解耦。

结构化联合注意力。尽管在前馈层中实现严格解耦，模型仍需支持移动与操作之间的协同推理（例如，底盘位置的调整会直接影响抓取的可行性）。为此，D-MoT 在每一层对拼接后的 Token 流采用联合自注意力机制。在设计的因果掩码与条件掩码机制下，潜-动作（latent-action）、移动-动作（mobility-action）和操作-动作（manipulation-action）的 Token 共同参与统一的注意计算，而其后续的前馈网络（FFN）变换则保持分支特异性。这种设计在不牺牲跨子空间协同能力的前提下，实现结构化的功能特化。

子空间-觉察 CFM 监督。通过条件流匹配（CFM）监督最终动作生成阶段。为了稳定学习并防止级联中的错误累积，在训练期间采用教师强制的上游调节协议，其中动作解码器接收真实视频潜变量 z_≤k+1 和潜动作 m_≤k。此外，使同一块内的噪声动作相互可见，以实现跨子空间协调。为了保持训练-测试一致性并提高推理效率，两个子空间共享单个去噪时间步长，与推理时的并行联合去噪程序保持一致，并消除对单独噪声调度的需要。

这种子空间-觉察的 CFM 监督机制完善 z_t+1 → m_t → a_t 级联过程的最后阶段。通过将动作去噪过程建立在预期的世界动态与细粒度运动意图之上，同时保持跨子空间的信息流动，该模型能够生成在时间上连贯且符合物理规律的动作片段。

4 面向训练-推理对齐动作预测的梦境驱动方法

动作预测中的训练-推理差异。现有的世界动作模型（WAMs）主要遵循两种训练范式。第一种是教师强制（teacher-forcing）范式 [17, 33, 50]，即在给定真值（GT）视频 Token 的条件下对动作 Token 进行去噪。第二种是扩散强制（diffusion forcing）范式 [3, 71, 73]，即在统一的扩散过程中对视频和动作的 Token 进行联合去噪。

尽管这些方法行之有效，但这两种范式在动作预测方面都存在根本性的训练-推理差异，如图 4 所示。在教师强制范式（图 4(a)）中，动作模型的训练依赖于干净的 GT 视频潜表示（latents）[17, 33, 50]。然而，在推理阶段无法获取此类 GT 潜表示；模型必须转而基于自身生成的视频潜表示进行预测，而这些表示不可避免地包含预测误差和视觉伪影。这种不匹配导致严重的暴露偏差（exposure bias）[22, 46, 57]：动作预测器从未接受过解读或补偿其自身“梦境”视觉状态（即自生成状态）的训练，从而导致动作生成质量显著下降。

扩散强制范式（图 4(b)）通过在训练期间让动作预测接触带噪视频潜表示，部分缓解这一问题 [3, 71, 73]。然而，它引入另一种形式的差异。在训练过程中，视频和动作 Token 可能出现在多样且独立采样的噪声时间步（timesteps）下，而推理过程则遵循特定的去噪轨迹，其精确的时间步构成难以复现。因此，模型必须在广泛的人工噪声配置下学习动作预测，这不仅增加优化复杂度，而且在训练分布与实际推理时的条件上下文之间仍然留下不匹配。

为了解决这些局限性，其提出扩散强制（Dream Forcing），这是一种旨在直接对齐训练与推理条件上下文的训练范式。如图 4© 所示，扩散强制不再基于 GT 视频潜表示或任意加噪的潜表示来设定动作 Token 的条件，而是利用模型自身生成的“梦境”视频潜表示（self-dreamed video latents）来训练动作预测器。该设计使动作模型接触到其在推理阶段会遇到的那种不完美的视觉状态，从而使其能够学习在模型产生的预测误差下生成稳健的动作，进而大幅缩小训练与测试之间的差距。

两-阶段前向传播策略。为了实现扩散强制（Dream Forcing）训练范式，摒弃在单次前向传播中联合优化多模态 Token 的传统方法。取而代之的是，引入一种两-阶段前向传播策略，将“梦境”潜变量（dreamed latents）的生成（阶段 A）与动作预测的优化（阶段 B）解耦。如图5所示：

阶段 A 的目标是合成作为条件的“梦境”潜变量。与视频生成领域中必须按顺序展开（roll out）多个未来片段的自回归强制（autoregressive forcing）方法 [13, 22, 39, 81] 不同，闭环机器人场景仅需生成（或“梦境化”）最近的未来片段。这是因为在部署过程中，历史片段会不断地基于现实世界的真值（GT）观测进行校准 [33]。因此，不依赖耗时的顺序展开，而是采用并行生成策略，在单次前向传播中为一批数据生成所有所需的“梦境”潜变量。此外，由于标准步数较多的扩散采样在训练期间进行实时潜变量生成时计算成本过高，借鉴自强制（Self Forcing） [22] 的做法，采用少步去噪过程以确保训练效率。

在阶段 B 中，模型执行第二次前向传播，基于阶段 A 合成的“梦境”潜变量来预测动作。具体而言，这将动作预测分布从标准的“教师强制”（Teacher Forcing）形式转变为“梦境强制”（Dream Forcing）形式：即仅将未来的条件潜变量 z_t+1, m_t 替换为模型自身生成的对应变量zˆ_t+1, mˆ_t。通过让动作预测模型接触不完美的、由模型生成的视觉上下文，“梦境强制”有效消除训练与测试之间的分布差异。

综上所述，这些组件构成 ABot-M0.5 的核心模型设计。中间潜动作建模（Intermediate Latent Action Modeling）解决世界建模与控制之间的时间跨度问题，双层 MoT 解决模态与动作结构的异构性问题，而梦境强制则实现逆向动力学学习与自回归展开过程的对齐。

---

为了充分发挥 ABot-M0.5 在表征与生成方面的潜力，采用一种从大规模世界建模过渡到具备轨迹一致性的动作学习的渐进式训练范式。这一总体策略的设计深受模型自身结构的启发。鉴于 ABot-M0.5 依赖于未来视频预测、帧级潜动作抽象以及可执行动作生成这三者的协同作用，有效的训练必须分阶段构建这些能力，而非直接在最具挑战性的轨迹生成设定下从零开始进行全盘优化。因此，将训练过程划分为三个阶段：用于世界建模的大规模预训练、用于潜动作提取的自监督预训练，以及用于逆动力学学习的渐进式监督微调。此外，还引入系统级优化措施，以支持高效的长序列视频-动作训练。

1 预训练数据

ABot-M0.5 的预训练语料库由大规模公开机器人数据集与合成机器人数据组合而成。其目标是涵盖广泛的具身​​形态（embodiments）、环境、任务结构及操作动力学，从而使模型在下游微调之前能够习得可迁移的先验知识。

所有数据集均被标准化为统一格式，以便进行一致的处理、训练和评估。沿用此前 ABot 工作中建立的数据流水线，整合来自以下来源的数据：

• OXE [11]：一个大规模多具身机器人数据集，涵盖了多样的场景、任务和平台。它提供了广泛的视觉与行为多样性，构成了具身经验的基础来源。
• OXE-AugE [25]：OXE 的增强扩展版本，旨在提升具身形态的多样性，特别是针对单臂形态。
• Agibot-Beta [1]：一个高质量数据集，具有结构化的任务设计、连贯的动作序列以及长程操作轨迹。
• RoboCOIN [69]：一个跨具身数据集，侧重于双臂操作和分层任务结构。
• RoboMind [68]：一个涵盖单臂和双臂平台、具有强大跨平台多样性的长程操作数据集。
• Galaxea [26]：一个包含丰富传感器信号和细粒度子任务标注的数据集，适用于复杂长程操作。
• InternData-A1 [64]：一个在仿真环境中构建的大规模合成机器人数据集，涵盖了多样的具身形态、操作技能和场景配置。

这些数据集在多个维度上互为补充。OXE 和 OXE-AugE 提供规模和具身形态的多样性；Agibot-Beta 和 Galaxea 提供更高质量的长程任务结构；RoboCOIN 和 RoboMind 丰富跨具身和双臂操作的覆盖范围；InternData-A1 则引入合成数据的规模优势和更广泛的场景变化。Galaxea 不仅限于机械臂操作，还纳入多样的底盘移动任务，通过臂与底盘的协同配合来完成长程移动操作任务。综合来看，这些数据使 ABot-M0.5 能够在接触特定任务的动作监督之前，学习到鲁棒的视觉动力学和可迁移的运动先验。为了增强多样性与鲁棒性，还纳入大规模公开机器人数据集，包括 RoboNet [15]、BridgeData V2 [65] 和 DROID [27]。

同一套数据基础设施也支持潜动作（latent action）的预训练。由于帧级潜动作仅依赖于视觉帧对而非控制标签，因此海量的无标签或弱标签视频也能助力运动抽象的学习。这使得模型可利用的有效监督信号不再局限于标准的动作标注机器人数据集。

2 世界模型预训练

训练的第一阶段侧重于预训练框架中的视觉世界模型组件。该模型基于预训练的 Wan2.2 5B 权重 [66] 进行初始化，并以自回归（AR）方式训练为无动作条件的未来视频预测器。执行全参数微调，以使互联网规模的时空先验适应机器人环境。这一阶段具有多重关键作用：它赋予模型稳健的场景与物体表征能力，提升未来潜状态预测的质量（这些预测随后将作为动作生成的条件信号），并将视觉世界建模与逆动力学学习解耦，从而显著减轻下游微调任务的负担。

在异构具身数据上进行训练时，一个主要挑战在于不同机器人平台和数据集之间各异的相机配置所带来的巨大语义鸿沟；当相机语义相互交织时，视频生成模型难以学习到一致的空间表征。为解决这一问题，引入一种固定的语义槽位分配策略。具体而言，定义四个具有预设语义角色的标准视频槽位：前两个槽位用于第三人称视角，以捕捉全局场景和机器人本体构型；后两个槽位则用于腕部安装的视角，以提供手部与物体交互的精细细节。对于包含超过四个相机视角的数据集，随机采样一个子集来填充可用槽位，从而引入视角层面的数据增强，并防止模型过拟合于特定的相机布局。对于视角数量少于可用槽位的数据集，则对未使用的槽位进行零填充（zero padding）。

为了防止零填充视图干扰计算，缺失视图被表示为全零潜张量，并在自注意层中被屏蔽，使其对所有有效视图不可见。训练目标仅在有效视图上计算。具体而言，用潜空间中的条件流匹配损失来优化视觉世界模型。对零填充区域的损失进行掩码处理，以确保梯度不会从人为填充部分传播。这保证了优化过程完全由真实的视觉观测驱动，并使模型能够无缝整合来自不同机器人具身形态（及各异的相机配置）的多视角数据。

预训练的世界模型在移动操作任务中尤为关键。与固定式操作相比，移动操作任务因底座移动、场景变换及相机视角的改变而呈现出更剧烈的视觉变化。若世界模型能力较弱，其生成的未来预测往往不稳定或质量低劣，从而严重制约下游动作学习的效果。通过大规模预训练世界动态特性，ABot-M0.5 在进行微调时，已具备了关于具身智体未来演变更为强大的表征基础。

3 潜动作模型预训练

第二阶段旨在预训练用于构建帧级运动监督信号的潜动作编码器。与可执行的机器人动作不同，潜动作是基于连续帧之间的视觉转换来定义的，这使得它们非常适合在海量视频数据上进行自监督训练。

为了获取潜在动作编码器 E_m，采用 ALAM [62] 中提出的训练框架（如图 6 所示）。给定一组按时间顺序排列的观测三元组 (o_i, o_j, o_k)（其中 i < j < k），潜动作模型学习能够捕捉观测随时间变化特征的转换嵌入（transition embeddings）。为了促使这些嵌入形成结构化的运动空间，对学习的转换施加代数一致性约束。

除了这些关系约束外，该模型还结合重构和向量量化目标进行训练，以确保潜在编码既包含丰富信息又保持紧凑。完整的预训练目标，受到结构化潜动作学习及基于流的策略生成 [37, 62, 63] 的启发。

在预训练之后，仅保留潜动作编码器 E_m，并舍弃解码器及向量量化模块。随后，该编码器被冻结，作为离线特征提取器，用于生成机器人轨迹的潜动作标签。通过这种方式，ABot-M0.5 所使用的潜动作监督信号是基于大规模视觉运动数据学习得到的，而非根据机器人控制信号人工构建的。

这一阶段至关重要，原因有二。首先，它提供一种细粒度的中间表征，弥补未来视频潜表征在时间维度上较为粗糙的不足。其次，它使得来自未标注视频的运动知识能够迁移到机器人动作学习中，从而将预训练的有效范围从单纯包含动作标注的机器人数据集扩展到了更广泛的领域。

4 渐进式监督微调

在完成世界模型预训练和潜在动作预训练后，ABot-M0.5 进入针对下游机器人数据的监督微调阶段。该阶段引入显式的动作监督，并使模型与特定任务的控制分布相适配。并未直接在最终的实际运行（rollout）模式下进行训练，而是采用一种渐进式策略：首先在理想的未来条件下稳定世界模型与动作模型的学习，随后逐渐过渡到与实际运行模式一致的条件设定。

阶段 I：世界模型与逆动力学模型的联合微调。在监督微调初期，预训练的世界模型相对于目标数据集仍存在域偏移（domain shift）。尽管它已编码有用的时空先验信息，但其对未来的预测精度尚不足以作为下游动作学习的可靠条件。若直接基于预测的未来状态训练逆动力学模型，视觉预测误差将干扰动作学习过程，因为此时模型尚未适应新的数据分布。

因此，首先进行一个稳定的微调阶段，在此阶段中，潜动作预测和可执行动作预测均以真值（ground-truth）未来视频潜表征为条件。在此设定下，模型联合预测未来的视频潜在表征、潜动作以及可执行动作。

该阶段为动作学习提供一个稳定的环境。由于作为条件的未来视觉信息是准确无误的，逆动力学模型能够专注于学习从“未来世界演变”及“潜运动意图”到“可执行控制”的映射，而无需去补偿噪声干扰或不准确的预测结果。实际上，阶段 I 在受控条件下建立世界模型与动作模型之间的交互机制。

阶段 II：用于推理对齐微调的“梦境驱动（Dream Forcing）”策略。当模型达到初步收敛状态后，转入“推理对齐微调”阶段。在推理阶段，模型无法获取真实的未来视频潜表示（latents），而必须完全依赖其自身预测的未来潜表示。为了减少这种训练与测试之间的差异，在预测动作时，将真实的未来条件输入 z_t+1 和 m_t 替换为模型预测的未来条件输入 zˆ_t+1 和 mˆ_t。

该阶段实现“梦境驱动（dream-forcing）”机制。此时，未来的潜动作和可执行动作是基于模型生成的未来状态（而非完美的未来观测）进行预测的。因此，逆向动力学模型学会适应视频预测噪声、轻微的物体漂移以及不完美的未来推演条件。

训练原理。完整的微调策略可以理解为一个渐进式对齐过程。第一阶段在下游领域对齐世界模型和动作模型，同时避免逆向动力学模型受到早期预测噪声的干扰。第二阶段则将动作学习的条件输入模式与自回归推演的实际部署模式进行对齐。通过这种方式，模型的优化目标不再仅仅是单步预测的准确性，而是确保在自身生成的未来状态下实现稳定的长程性能。

5 高效结构化注意与潜空间增强

上述训练流程涉及对多个 Token 流和多种模态进行长序列联合建模。若无额外优化，此类训练的计算成本将高得难以承受。因此，引入两种实用技术，旨在提高效率和数据利用率，同时保持模型预期的语义特性。

高效结构化注意。ABot-M0.5 采用一种结构化稀疏自注意模式，用于编码 Token 序列间的因果顺序、模态分离及条件可见性。若在完整注意矩阵上直接使用显式分块掩码（block masks）进行简单实现，会造成巨大的计算浪费，尤其是在处理长序列时。

为解决这一问题，将结构化注意模式重新表述为一系列稠密子问题，并利用变长 FlashAttention [14] 进行实现。具体而言，针对每个样本、帧和 Token 类别，预计算由结构化注意掩码所定义的 Query 和 Key 索引的有效范围。随后，这些有效范围被打包成连续的 Query-Key-Value （QKV）片段，并在单个变长 FlashAttention 核函数（kernel）中执行多个注意子问题。这种实现方式在数学上与原始结构化注意力模式等价，但在 GPU 上的执行效率却大幅提升。

与 FlexAttention 风格的基线方法相比，该设计显著降低核函数开销，避免不必要的分块填充（block padding），并减少内存占用。在实际应用中，针对长序列视频动作建模任务，该方法在“前向-反向”联合计算过程中实现约 5 倍的加速。

基于偏移量的潜特征增强。为了降低训练期间重复编码原始视频的计算成本，以固定的时间步长 H 预计算视频的潜特征（latent features）。传统实现方式通常从第一帧开始划分视频，并将帧区间 [tH, (t+1)H] 映射到第 t 个潜特征。这种刚性对齐方式虽然简单，却未能充分利用原始视频信息，且限制了训练过程中潜特征划分的多样性。

因此，引入一种基于偏移量的索引策略。不再固定从第一帧开始，而是允许起始偏移量 s 在以下范围内变化：

s ∈ {0, 1, . . . , H − 1}。

在给定偏移量 s 的情况下，帧区间 [s + tH, …, s + (t + 1)H] 被映射到第 t 个潜特征。由于存在 H 种可能的偏移量，该方法将有效潜特征划分的数量增加 H 倍。由此产生的增强效果提升时间维度的多样性，并经实验证明增强模型对微小时间偏差的鲁棒性。

在完整训练流程中的作用。这些优化并非孤立的工程细节。高效的结构化注意机制使得 ABot-M0.5 的多流架构能够支持大规模视频-动作联合训练，而基于偏移量的潜空间增强（offset-based latent augmentation）则提升数据效率与时间维度上的鲁棒性。两者的结合使得渐进式训练流程能够扩展至长时程移动操作任务，且无需牺牲模型原有的结构设计。

综上所述，ABot-M0.5 的训练范式融合大规模世界建模、自监督运动抽象、渐进式动作对齐以及高效的系统级优化。这种融合对于将模型的架构优势转化为移动操作基准测试及实际部署中的优异性能至关重要。

---

实验设置

基准测试。在以下基准测试上评估 ABot-M0.5：
• RoboCasa365 [45]：一项具有挑战性的移动操作基准测试，涉及包含原子级和复合级子任务的家庭场景任务。它是评估长程（long-horizo​​n）移动操作的主要基准。
• RoboTwin 2.0 [9]：一项多任务双臂操作基准测试，包含“干净”（clean）和“随机化”（randomized）两种设置，用于评估模型在场景变化下的泛化能力。
• LIBERO / LIBERO-Plus [16, 38]：组合式操作基准测试，用于评估多任务和长程桌面操作能力。
• 真实世界任务：一组真实的机器人任务，旨在测试所学习的世界-动作策略（world-action policy）能否从仿真环境迁移到现实世界。
基准测试的实现遵循 RoboCasa365、RoboTwin 2.0 和 LIBERO/LIBERO-Plus 的官方设置。

基线方法。将本文方法与现有的视频-语言-动作（VLA）模型及世界动作模型（WAMs）进行比较。为了确保评估的全面性和客观性，挑选基线方法，涵盖最广泛采用的、最先进的（SOTA）、最新的以及与本文方法最相关的研究工作。具体而言，在 LIBERO-Plus 基准测试中，将比较范围从标准的 VLA 模型扩展到混合式 VLA+WM 架构和纯 WAM 架构，重点突显其方法相比现有 WAMs 的独特优势。

评估指标。对于每个基准测试，遵循官方协议并报告标准的评估指标。主要的评估指标是任务成功率。对于 RoboCasa365，额外报告在“原子级已知”（atomic seen）、“复合级已知”（composite seen）和“复合级未知”（composite unseen）任务类别下的性能表现。对于 RoboTwin 2.0，报告在 50 个任务中，于“干净”和“随机化”场景下的平均成功率。对于 LIBERO 和 LIBERO-Plus，报告跨任务平均的标准成功率指标。对于真实世界实验，在 5 个任务上进行评估，并同时报告成功率和过程得分。

实现细节。除非另有说明，ABot-M0.5 均采用渐进式流水线进行训练。在该训练范式下，视频潜主干网络、潜动作编码器及逆动力学组件进行联合微调。针对移动操作任务，动作头同时对移动控制和操作控制进行建模；对于非移动操作基准测试，则保留相同的整体架构，仅针对相应的具身形态和控制维度对动作路由进行专门调整。