第一部分 ω-0: A Latent Predictive World Action Model forConcurrent Humanoid Loco-Manipulation

1.1 引言与相关工作

1.1.1 引言

最新的人形 VLA系统在行走-操作一体化（loco-manipulation）方面取得了重要进展（Wei 等，2026；Hu 等，2026；Jiang 等，2025；Yang 等，2025；NVIDIA 等，2025），然而许多系统依然依赖在行走、平衡与操作之间进行工程上的任务分解。当机器人先移动到目标位置、然后在基本静止的姿态下进行操作时，这种分解是有效的

1. 然而，在那些稳定执行依赖于同时迈步、躯干调整、伸手以及保持接触的任务中，这种分解就成为限制因素
   ————
   这就促使作者采用一种策略表示形式：由策略直接学习全身协同控制，而不是依赖于若干事先独立设计模块的间接涌现
2. 世界动作模型（World Action Models，WAMs）（Hu 等，2024；Yuan 等，2026；Pai 等，2025；Cen 等，2025；Li 等，2025b，2026；Kim等，2026；Ye 等，2026a,b；Bi 等，2025）为学习此类协同行为提供了一种自然的途径
   WAMs 不再仅仅基于当前观测来预测动作，而是利用未来的视觉动态，为任务进展和动作后果提供额外的监督信息
   
   这一点对具身人形机器人执行家务任务尤为关键：例如机器人是否在有效擦拭、是否正朝着正确的物体移动、是否始终让工具保持接触等
3. 然而，大多数现有的WAM 是为以手臂为中心的操作而设计的，在这种场景下，未来预测主要用于支持局部物体交互
   
   近期的人形 WAM 工作（Zheng et al.,2026）开始将这一理念扩展到全身控制，但它们往往把视频动力学作为动作预测的核心中间表征。在真实世界的人形机器人任务中，视觉观测存在噪声，容易被机器人本体或工具遮挡，并且在行走移动过程中会受到视角变化的影响
   
   当动作生成过度依赖预测的视频轨迹时，该轨迹中的时间不一致性会被放大，表现为动作切换突兀、运动犹豫或全身协调不稳定
   此外，提高像素级视频保真度并不必然带来更好的控制效果：对于实时的人形机器人执行来说，策略主要需要的是对选择下一步全身动作有用的、紧凑的未来信息
   说白了，太过一类视频轨迹的预测 会导致不稳定，其次，不一定非得做像素级的视频预测

因为，作者提出了第一个挑战：能否将未来预测不再作为视频生成的目标，而是作为一种紧凑的预测信号，用于全身动作学习？

即并不是构建一个以视频为中心的流水线，先预测未来动力学再将其转换为动作，而是学习一种潜在的、可预测的世界—动作表示，在这一表示中，未来观测嵌入和全身动作潜变量被一起训练

• 未来预测为任务进展和场景演化提供线索
• 而动作分支则直接生成与控制器兼容的全身动作潜变量

这样的设计保留了世界建模的优势，但避免依赖大型视频生成器或在测试阶段进行视频到动作的反演

对此，来自的研究者提出了 ω-0，这是一种用于人形机器人并行行走与操作（concurrent loco-manipulation）的潜在预测世界—动作模型

• 其paper地址为：ω-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation
• 其项目地址为：gentlefress.github.io/OMEGA-0_page/
  其github地址为：待发布

具体而言，其

• 给定一条语言指令、当前视觉观测以及机器人的本体（proprioceptive）状态，ω-0 预测一段未来的全身动作潜在表征序列，这些潜在表征由一个低层全身控制器执行（Luo et al., 2025）
• 与此并行，一个轻量级的未来视觉潜在分支会预测紧凑的未来观测嵌入，作为辅助预测目标

这样的联合嵌入式预测建模将潜在的视觉前瞻能力与全身动作生成耦合在一起，使策略能够生成在移动中进行操作的协调行为，而无需将执行过程拆分为独立的行走阶段和操作阶段

第二个挑战是真实世界人形机器人数据的稀缺

1. 真实世界的人形机器人示范采集成本高昂，而人类示范并且公共视频动作数据集包含了丰富的视觉-运动先验。然而，这些数据无法直接用作仿人机器人策略，因为人体运动、机器人状态以及控制器动作分别处于不同的表征空间
2. 为弥合这一差距，ω-0 首先从全身动作 token 中学习具备动作感知能力的视觉-语言表征，然后通过基于 SONIC 的仿真回放，将人类/公共的视觉-运动先验落地为机器人可执行的动作潜变量
   
   对于无法被可靠跟踪的运动，将被过滤掉，而剩余的轨迹则为控制器兼容的动作潜变量以及本体感知监督提供数据支撑
   这一过程使大规模人类数据在保持真实机器人可执行性的前提下，能够用于提升仿人机器人的动作学习能力

相同的潜变量建模方式也支持灵活的视觉条件输入。ω-0 可以将自我中心（egocentric）RGB、第三人称（exocentric）RGB，或第三人称深度（exocentric depth）观测作为输入，并通过视角痛苦（view tokens）来区分不同的摄像机视角

自我中心观测在部署阶段为系统提供视觉反馈，而第三人称 RGB-D 观测在训练过程中则为全身动作、物体-场景关系以及任务进展提供互补的监督信息。由此，模型既能够从信息量更丰富的第三人称观测中获益，又仍然支持在机器人上以第一人称视角进行执行

此外，为了训练和评估 ω-0，作者还构建了 ω-HOME 数据集——一个为时 40 小时的真实世界家庭场景人形机器人数据集。该数据集包含同步采集的第一视角（egocentric）RGB 视频、第三视角（exocentric）RGB 视频、第三视角深度视频、全身 SMPL 动作（Loper 等，2023）、机器人本体感受（proprioceptive）状态以及全身动作潜变量

在 11 个家庭环境下的行走—操作（loco-manipulation）任务上评估 ω-0，这些任务覆盖台面操作、清洁、洗衣物处理、物体搬运、电器交互以及移动操作。重要的是，所有任务都由一个统一的 ω-0模型来执行，而不是依赖于任务特定策略、任务特定动作头，或将行走与操作拆分为独立模块。现实环境中的 rollout 展示出在同步迈步、伸手、富接触操作以及物体交互过程中，平滑的全身协调能力

1.1.2 相关工作

首先，对于全身类人机器人控制

基于物理的全身控制旨在在保持平衡、接触一致性以及时间平滑性的前提下，从参考轨迹中生成在动力学上可行的人形机器人动作

1. 早期工作（Chen et al., 2025b; Ji et al., 2024; Xie etal., 2026; He et al., 2025; Li et al., 2025d,e,c）将基于强化学习的动作跟踪建立为人形机器人控制的标准范式，后续方法则在不同人形平台上的真实部署场景中提升了鲁棒性
2. 近期方法进一步将全身跟踪扩展到更广泛的动作分布和更具挑战性的行为
   GMT（Chen et al.,2025b）采用 mixture-of-experts（专家混合）设计以提升动作覆盖度，而 UniTracker（Yin etal., 2025）则使用教师-学生框架实现更具泛化能力的跟踪
   
   SONIC（Luo et al., 2025）将自然的人形全身跟踪扩展到大规模动作语料库，并为真实世界的人形机器人执行提供了高效的控制器接口
   Humanoid-GPT（Qi et al., 2026）进一步通过在十亿规模动作语料库上训练类似GPT 的因果 Transformer（Vaswani et al.,2017），探索全身控制的尺度化，获得了强大的跟踪性能，并在未见过的动作和控制任务上实现了零样本泛化

其次，对于人形VLA

视觉-语言-动作模型（VLA）近期在基于语言条件的机器人控制方面展现出强大潜力

1. The πseries（Intelligence等2025）展示了通用型操作能力，而GR00T（NVIDIA 等，2025）则将基础模型训练扩展到类人机器人领域，利用大规模真实与合成数据进行训练
   
   针对类人机器人的行走-操作一体化控制，Ψ-0（Wei 等，2026）提出了一种分阶段训练策略，将以自我视角的人类视频预训练与真实世界类人机器人后训练相结合，强调高质量领域特定数据的重要性
2. OpenHLM（Hu 等，2026）研究了全身原生类人 VLA，并表明直接暴露完整的类人动作空间有利于长时间尺度的行走-操作任务
   
   WholeBodyVLA（Jiang 等，2025）则进一步通过从低成本、无动作标注的自我视角视频中学习，并引入面向行走-操作的强化学习策略以生成精确的运动指令，从而处理大空间的类人行走-操作问题

尽管这些方法推动了类人 VLA的发展，它们主要关注从观测到动作的直接学习或改进执行接口，而针对未来视觉建模的研究在类人全身动作生成中仍相对缺乏探索

最后，对于仿人世界动作模型（Humanoid WAMs）

世界动作模型（World Action Models,WAMs）通过将动作预测与未来视觉动态相耦合，从而提升机器人控制性能

1. 近期工作已经开始将这一理念从桌面操作扩展到仿人的行走-操作（loco-manipulation）任务。DiT4DiT（Ma et al., 2026）使用独立的视频DiT 和动作 DiT 对视频与动作进行联合建模，但其仿人动作接口仍然依赖上肢和下肢解耦的设计
   
   Motion-WAM（Zheng et al., 2026）则在此基础上引入了一个实时仿人 WAM，它通过在视频世界模型的中间去噪特征上进行条件动作生成，并预测统一的全身运动 tokens
2. 与这些以视频世界模型为中心的设计不同，ω-0 将未来视觉预测视为一种无重构的潜在预测目标，用于动作学习。ω-0 不依赖于大型视频动力学模型或测试时的视频到动作反演，而是采用轻量级的未来观测嵌入预测作为辅助监督，并直接对与控制器兼容的全身动作潜变量进行去噪，以实现仿人行走与操作的并行控制

1.2 ω-0的完整方法论

1.2.0 概述

作者提出了 ω-0，这是一种全身世界动作模型，它将语言指令、视觉观测和机器人状态映射到用于真实世界类人机器人行走-操作任务的未来视觉潜变量和全身动作潜变量

给定一条语言指令 、一帧当前视觉观测  从视角 出发，以及机器人在本体感觉状态 下，模型预测一段未来的、与控制器兼容的全身动作潜变量。预测得到的潜变量由 SONIC 在真实的人形机器人上以滚动时域的方式执行

该模型包含三个主要组件『首先训练一个全身 VLM，用于具备动作感知能力的视觉-语言表示学习；随后使用联合视频-动作潜变量预测器，将未来视觉潜变量与全身动作生成耦合起来。该预测器采用前缀引导的双查询注意力机制，并结合针对不同 token 的位置编码：对视觉前缀 token 使用 2D RoPE，对未来视频查询使用 3D RoPE，对时间动作查询使用 1D RoPE。动作 DiT 对 SONIC 兼容的全身动作潜变量进行去噪，以实现现实世界的人形机器人控制，而未来视觉分支则提供轻量级的潜变量监督以及可选的可视化功能』

1. 首先，一个全身动作VLM（Vision-Language Model）将带有语言条件的视觉观测映射为与动作相关的语义特征
   为了使类人全身动作能够兼容自回归 VLM 训练，作者训练了一个全身 FAST tokenizer（Pertsch等，2025），将连续的全身动作轨迹离散化为动作 token
2. 其次，一个联合视频-动作潜变量预测器融合 VLM 特征、T5 文本特征、V-JEPA视觉特征、视角 token、运动查询（motion queries）和视频查询（video queries）
   其中，运动查询用于动作生成，而视频查询在监督下用于预测未来的视觉潜变量。通过允许运动查询关注视频查询，模型将预测的视觉动态注入到动作表示中
3. 第三，一个动作 DiT 接收具备未来信息的运动特征、文本特征、机器人状态特征以及带噪声的动作潜变量作为输入，并对其进行去噪，得到干净的全身动作潜变量片段

与那些将视觉预测和动作生成视为两个独立问题的方法不同，ω-0 将未来视觉预测作为一种轻量级的辅助监督信号来进行动作学习。该模型不需要大型的视频生成器，也不需要在测试时进行视频到动作的反演

相反，它学习一种基于查询的共享表征，其中未来的视觉潜在表示为全身动作生成提供任务进展和场景演化线索。这使得模型在不将任务显式分解为导航模块和手臂控制模块的情况下，就能实现协调的行走与操作

1.2.1 阶段一：全身动作 VLM 预训练

第一阶段的目标是赋予视觉-语言骨干网络以全身动作语义。对于一个预训练的 VLM 来说，直接从视觉观测中预测连续的高维人形体动作是困难的，因为其输出空间最初是为离散的语言符号而设计的，而不是为连续控制信号设计的

因此，作者首先构建一个离散的全身动作词汇表，然后对 VLM 进行微调，使其能够根据语言和视觉观测自回归地预测动作 token

1. 作者在他们的动作轨迹上训练一个全身FAST to-kenizer。给定一个连续的全身动作轨迹，其中 表示动作维度，tokenizer 将该轨迹编码为一个离散动作token 序列
   
   
2. 并由相应的去分词器将其重构为原始的动作轨迹
   
   
3. 通过最小化重构误差来优化该分词器：
   
   

训练完成后，每个连续的全身动作片段都可以表示为一个由离散token组成的紧凑序列，，这些token作为 VLM 微调的真实标签

基于学习到的动作分词器，作者对Qwen3-VL-2B-Instruct (Bai et al., 2025) 进行微调，将其转化为一个全身动作VLM

对于每个训练样本，模型接收一个语言指令 、来自第一视角或第三视角的视觉观测  ，以及一个可学习的视角token  ，用于指示摄像机视角。视角token被添加到视觉-语言输入序列中，以显式地区分来自不同视角的观测：

在给定该输入的条件下，VLM 被训练为自回归地预测离散的全身动作token：

训练目标是标准的下一token 预测损失：

在训练完成后，全身动作 VLM 学会了将带有语言条件的视觉观测与离散的全身动作 token建立关联。作者将其隐含表征用作后续阶段的“动作感知”语义先验，在这些阶段中，该表征与多视角视觉特征对齐，并用于对基于扩散的全身潜空间生成过程进行条件约束

1.2.2 阶段二：人类到仿人全身动作的潜空间预训练

在第二个阶段中，作者训练模型使未来视觉潜变量预测与全身动作生成对齐。受 V-JEPA（Assran 等，2025）的启发，作者采用“无重建”的未来嵌入预测目标来训练模型，而不是在像素空间上生成视频

1. 给定当前观测以及带有动作条件的查询，模型预测紧凑的未来观测嵌入，为全身动作生成提供一个基于潜空间的世界建模信号。不同于以视频为中心、将视频动力学模型作为动作预测主要中介路径的 WAM（Zheng 等，2026），作者的未来预测分支刻意设计得较为轻量，仅作为辅助性的预测目标
2. 动作 DiT 在测试时无需进行“视频到动作”的反演，而是直接在语言、视觉、状态以及未来感知查询条件的联合约束下，对全身动作潜变量进行去噪

为了给这一阶段构建监督信号，作者使用两种互补的数据来源

1. 对于未来视觉预测，作者使用冻结的 Wan 编码器（Wan 等人，2025）提取真实的未来视觉潜在表示（ground-truth future visual latents）
2. 对于全身动作生成，公开的人体视频-动作数据集通常不提供机器人专用的动作潜在变量或本体感觉状态
   因此，作者在仿真中使用 SONIC 回放这些运动轨迹。在回放过程中，SONIC 跟踪每一条轨迹，并生成相应的全身动作潜在变量以及机器人状态
   对于 SONIC无法可靠执行的动作，例如高度动态或物理上不可行的轨迹，则会进行过滤

通过这一过程，将通用的人体运动数据转换为可由机器人执行的监督信号，用于基于扩散模型的全身动作学习

// 待更