26年7月来自智在无界公司的论文“Being-M0.7: A Latent World-Action Model for Humanoid Robots”。

人形机器人的“移动-操作”（loco-manipulation）能力要求其在协调移动、姿态与灵巧操作的同时，对场景的未来演变及全身任务的进展进行推理。然而，实现可扩展的人形机器人学习仍面临巨大挑战，原因在于机器人演示数据的采集成本高昂，且进行像素级的未来预测计算开销极大。为此，提出 Being-M0.7，这是一种潜世界-动作模型（latent world-action model）；它从以人为中心的混合模态语料库中学习视频-动作先验知识，并将其适配于人形机器人的控制。Being-M0.7 并非直接推演未来的像素图像，而是在潜空间中预测未来状态，并通过一种人类与人形机器人共享的紧凑型全身表征，将这些状态与未来动作进行关联。在机器人后续训练阶段，一个轻量级动作专家利用少量人形机器人演示数据，将预训练的视频-动作先验转化为可执行的全身控制指令。针对现实世界中 Unitree G1 机器人任务的实验表明，Being-M0.7 能够在复杂的交互场景下，有效协调状态预测、动作生成、机器人移动及灵巧操作。

如图1 所示Being-M0.7一览：

人形机器人运动操控

人形机器人运动操控旨在使机器人能够在以人为中心的环境中协调全身运动和操控，在这些环境中，交互通常需要同时进行导航、平衡维持和接触推理。与固定基座操控或纯粹的运动相比，人形机器人运动操控的挑战性要大得多，因为其策略必须对高维全身动作、动态接触、物体几何形状和长时程任务进度进行推理。

现有的基于学习人形机器人运动操控方法大致可以分为基于参考、无参考和新兴混合范式[3, 31–36]。基于参考的方法利用来自重定向的人体运动、演示、视频或优化轨迹的运动先验来稳定全身控制并产生自然的行为[37–40]。诸如 ResMimic [39] 和 HDMI [40] 等代表性方法通过调整或提取参考运动来进行交互式策略学习，而最近的系统则进一步利用运动生成、特权教师或大规模仿真来实现接触丰富的全身行为 [41, 42]。尽管这些方法具有稳定性和运动自然性，但它们通常依赖于预定义的轨迹，因此难以大规模地适应未知的物体几何形状、变化的接触或特定于物体的交互策略。

相比之下，无参考方法直接从任务目标、本体感觉和感知中学习，而无需重放固定的参考运动 [31, 43, 44]。这种方法更适合于通用的移动操作，但由于高维人形动作、稀疏奖励、不稳定的接触和长时程交互等问题，仍然面临挑战。为了缓解这些困难，近期的研究引入结构化表示或辅助先验：VisualMimic [45] 使用以自我为中心的感知和运动统计约束的分层控制，而 LessMimic [31] 则采用基于距离场的交互表示来提升几何泛化能力和技能组合能力。基础模型方法进一步探索以自我为中心的演示、潜动作和大规模预训练，以扩展任务覆盖范围 [4-6]。总体而言，该领域正从特定于运动的控制器转向可扩展的视觉运动策略，这些策略整合了运动先验、感知和目标级泛化能力。

运动生成

诸如 AMASS [25]、HumanML3D [26] 和 MotionX [27] 等大规模数据集使得文本条件模型能够学习具有丰富语义标注的各种人体运动。基于这些资源，T2M-GPT [46] 通过自回归生成离散的运动token，而诸如 MDM [47] 和 MotionDiffuse [48] 等基于扩散的方法则通过条件去噪来提高多样性和真实感。更通用的运动模型，包括 MotionGPT [49]、MotionGPT-2 [50] 和大型运动模型 [51]，进一步统一多种运动语言任务和条件模态。除了运动学合理性之外，PhysDiff [52]、ReinDiffuse [53] 和 RLPF [54] 还结合基于物理的投影或强化学习来改进物理执行，而 RobotMDM [55] 则通过控制器反馈将生成的运动适配到机器人角色上。

以自我为中心的运动生成通过将身体运动与具身智体可获得的观测数据联系起来，从而补充了基于语言条件的建模。 EgoEgo [56] 将以自我为中心的身体重建分解为头部运动估计和条件全身生成，而 EgoAllo [57] 则利用 SLAM 生成的头部姿态和图像，在同一场景帧中重建身体姿态、身高和手部运动。UniEgoMotion [58] 超越了重建的范畴，将以自我为中心的运动重建、预测和生成与以头部为中心的条件扩散模型相结合。EgoAgent [59] 将运动预测扩展到一个智体模型，该模型能够联合表示当前世界并预测未来的状态和动作，而 EgoTwin [60] 则联合生成以自我为中心的视频和人体运动，从而将视角一致的视觉动力学与以头部为中心的身体动力学耦合起来。这一发展表明，第一人称视觉上下文可以将人体运动生成从孤立的运动学任务转变为基于观察的具身行为预测建模。

人体运动为语义行为和全身协调提供了可扩展的监督，而人形机器人策略还必须考虑具身差异、物理可行性、实时反馈和可执行的机器人命令。现有的运动生成方法通过物理优化、机器人自适应或以自我为中心的预测来缩小部分差距，但通常是将这些组成部分分开处理，而不是先从以人为中心的视频和运动中学习，然后再将获得的知识应用于人形机器人的执行。Being-M0.7 遵循这一轨迹，构建一个先验的潜世界-动作模型（prior latent world-action model）。

人形机器人基础模型

与此同时，人形机器人学习正日益转向采用基础模型来实现全身控制。与针对特定技能的策略不同，这些模型旨在从机器人轨迹、人类视频、语言指令及仿真数据中汲取异构监督信号，同时保留能够驱动高自由度（DoF）人形机体的动作接口。GR00T N1 [61] 是一种通用型人形 VLA模型，它将视觉-语言模块与扩散 Transformer 动作模块相结合，并利用异构机器人数据、人类视频及合成数据进行训练。
WholeBodyVLA [5] 同样遵循 VLA 路线，但更侧重于从低成本、无动作标注的自我中心（egocentric）视频中学习潜动作，并将其与面向移动的控制器连接，以实现大空间内的移动与操作（loco-manipulation）[5]。Ψ0 同样将人类自我中心视频视为可扩展的预训练数据源，并采用分阶段的人形 VLA 训练策略：先学习可迁移的视觉-动作表征，随后利用高质量人形机器人轨迹对基于流（flow-based）的动作专家模型进行后训练 [4]。从具身智能（embodiment）的角度来看，HEX [62] 研究全身操作知识如何通过与人形机器人对齐的状态表征和专家模块在不同具身形态间迁移；该研究强调，人形机器人基础模型必须保持高自由度机体各部分间的协调性，而不能仅仅扩展感知和语言模块。

世界-动作模型提供了一种互补的建模范式，即利用已学习的视频生成模型为人形机器人控制提供结构化的时间信息。MotionWAM [20] 将实时人形机器人移动与操作任务构建为世界-动作建模问题：利用自我中心视频生成模型提供中间去噪特征，以此作为运动模型的条件输入，从而使人形机器人能够仅凭单个自我中心视角摄像头进行动作执行。这一视角与本文研究动机不谋而合，因为它不仅将以人为中心的视觉体验视为演示数据，更将其视为关于未来场景与运动演变的预测性结构来源。然而，本文工作目标与直接构建闭环人形机器人策略有所不同。其转而预训练一个先验的潜世界-动作模型，以便下游的全身控制策略能够利用从以人为中心的数据中学到的、具有时间组织特性的运动信息。

---

如图2 所示Being-M0.7 训练框架概述：

1 问题表述

首先考虑一种基于自我中心观测的、用于人形机器人“移动操作”（loco-manipulation）的先验世界-动作模型。令 V 表示一段自我中心视频，Z = E(V) 为其潜视觉表征，M 为一段紧凑的人形机器人动作序列，I 为任务指令。将 M 视为动作空间中的粗粒度动作级规划：它描述人形机器人主体未来的运动方式，但并未指定针对具体机体形态的可执行指令。因此，该先验世界-动作模型根据短时历史信息和任务指令，预测未来的环境状态以及粗粒度的未来动作。这一先验的世界-动作模型既涵盖环境的演变方式，也涵盖类人躯体为完成任务可能采取的运动方式。

人形机器人的移动操作（loco-manipulation）进一步要求将粗略的运动层级规划转化为针对具体机体特性的指令。这里引入一个基于未来状态条件（future-conditioned）[63] 的动作专家模型，用于将预测的未来上下文细化为可执行指令。

通过将先验世界-动作模型与动作专家相结合，即可获得完整的潜世界-动作模型。这种分解将低频的世界建模与高频的动作生成分离开来，使得未来表征能够在多次低延迟控制更新中被重复利用。

2 数据整理

数据集构成：构建用于人形机器人“移动操作”（loco-manipulation）任务的 Being-M0.7 预训练数据集。该数据集源自总时长超过 10,000 小时的原始多模态数据（涵盖过滤与时间切片处理前的原始数据）；其构成及来源分布如图 3 所示。预训练数据集并未仅依赖成对的视频-动作数据，而是由三类互补的数据流组成：第一人称视角视频-动作对、第一人称视角视频以及人体动作序列。这种方式将可用数据量从数千小时扩展到了超过一万小时。这三类数据流分别对应成对视频-动作、纯视频以及纯动作的监督信号。

潜视觉表征：针对视觉模态，所有帧均由 DINO [64] 编码器进行编码，即 Z = E(V)。这些视觉潜向量既作为输入，也作为生成目标。因此，该模型执行的是视觉潜空间层面的生成，而非像素层面的视频生成。这种做法降低了生成空间的维度，并使视觉目标侧重于语义状态、物体布局及场景演变，而非低层级的像素重建；这也是将该模型称为“潜世界-动作模型”的原因。

统一运动表示：针对运动模态，将异构的人体运动数据转换为统一的“头部-根节点”（head-root）表示形式。与传统以骨盆为根节点的身体中心表示法不同，本文采用头部作为根关节，从而使运动表示与以自我为中心的视觉流（egocentric visual stream）更好地对齐。在转换过程中，会对每个运动序列进行标准化处理，例如去除初始朝向并将身体对齐到以地面为中心的坐标系中。这种标准化减少特定数据集带来的干扰因素，并提高不同数据源之间运动统计数据的一致性。

此外，引入一种统一且紧凑的运动表示，仅保留头部、双手和双脚的信息。该表示形式并不旨在保留全身运动学的全部细节，而是侧重于保留下游机器人控制所需的关键交互与接触线索。由于这种表示形式既可以基于人体运动数据构建，也可以基于人形机器人的轨迹数据生成，因此它有效弥合人类与机器人之间在形态结构上的差异。在机器人训练后阶段，它提供比单纯的可执行指令标签更丰富的监督信号；而在推理阶段，它能提供关于机器人运动学的额外运动级反馈，从而支持协调的全身控制。

3 模型架构

Being-M0.7 利用先验世界-动作模型（prior world-action model）和轻量级动作专家（action expert）来实现先验模型分解。先验世界-动作模型负责建模 P(Z_Q, M_Q | Z_C, M_C, I)，而动作专家则建模 P(a_q | Z_Q, M_Q, O_q, I)$。这两个组件通过单向连接进行交互：动作专家接收来自预训练先验世界-动作模型的中间表征，但不会将动作信息回传给先验模型。这种方式使得动作预测能够基于先验模型学习到的表征进行，同时不改变先验模型处理输入的方式。

关键在于，MoT 的模态特定分支使得同一架构既能从成对的视频-运动数据中学习，也能从仅含视频或仅含运动的数据中学习。这种混合模态设计将可用的预训练监督信号从千小时量级的成对数据扩展到超过一万小时的数据集，同时在两种模态同时存在时，仍能保持显式的跨模态交互。运动流充当粗粒度的动作监督信号：它捕捉与具体具身形态无关的全身意图和运动学结构，而动作专家则将先验世界-动作模型映射为针对特定具身形态的机器人指令。

多模态输入嵌入。利用视觉潜变量 z_t 和紧凑运动向量 m_t，应用独立的、可学习的输入投影，将这两种模态映射到 MoT 主干网络的公共隐维度空间。时间位置嵌入（temporal positional embeddings）用于编码对齐的时间索引，而模态类型嵌入（modality-type embeddings）则用于区分视觉输入和运动输入。对于仅含视频或仅含运动的样本，监督信号仅应用于该可用模态。任务指令 I 由冻结参数的 DistilBERT [68] 单独编码，并作为语言条件特征输入。

视频-运动 Transformer 混合模型（MoT）。先验世界-动作模型被实现为一种 Transformer 混合模型（MoT）[69]，该模型包含模态特定的计算和共享的多模态注意力机制。在每个模块（block）中，视觉和运动的潜变量 Token 分别使用各自的层归一化（layer normalization）、查询/键/值（query/key/value）及输出投影，以及前馈网络。随后，它们经投影得到的查询（query）、键（key）和值（value）在共享注意力操作中进行融合，使得每个有效的潜视觉oken能够在保留模态特定参数化的同时，跨时间与运动tokens交换信息。此外，这两条数据流均会对指令特征执行交叉注意力操作。流时间步 tau 的正弦位置编码（sinusoidal embedding）通过模态特定的自适应层归一化（adaptive layer normalization）[70]，对各模态的注意力机制、语言交叉注意力以及前馈计算过程进行调制。

前 K 帧视频-运动数据作为干净的上下文tokens，而未来时间段内的tokens则在采样的流时间步被添加噪声（即处于受损状态）。其采用一种分块注意力掩码（chunk attention mask）：在该机制下，上下文tokens仅关注已观测的历史信息而无法访问未来信息；相比之下，所有带有噪声的未来tokens则共同关注完整历史信息以及彼此。这种非因果的目标交互方式使得模型能够并行地对整个未来视频​​-运动片段进行去噪。最后，通过模态特定的自适应归一化和输出投影，模型分别在视觉潜空间和连续运动空间中生成速度场。

基于未来的动作专家（Future-Conditioned Action Expert）。在后训练阶段，附加一个独立的基于流（flow-based）的 Transformer 模块，以实现动作专家功能。当先验世界-动作模型在条件 (Z_C, M_C, I) 下对 (Z^τ_Q, M^τ_Q) 进行去噪时，将第 l 层之前的隐藏视频-运动序列记为 H^θ_l(tau)。动作专家将带噪声的动作片段 {a ̃_q,tau} 嵌入为初始token序列 A⁰_q，并单独嵌入机器人观测信息 O_q。其中 O_q 包含当前的自我中心视角图像、本体感知状态以及归一化后的执行进度。图像由与视觉流相同的冻结 DINO 编码器进行编码，而本体感知状态则通过一个可学习的投影层进行映射。在专家的第 j 层，动作tokens会对以下三者的拼接结果执行注意力操作：(i) 来自对应先验层的隐视频-运动序列，(ii) 当前动作token的状态，以及 (iii) 当前机器人观测token。

基于来自网络不同深度的表征进行条件化，既为策略提供了细粒度的视觉与运动特征，也提供了高层级的未来动态表征；同时，O_q 确保了系统能够以机器人控制频率保持闭环响应能力。

4 训练与推理方案

预训练。在统一的目标函数下，利用“视频-运动”配对数据、纯视频数据和纯运动数据的混合集，对先验潜“世界-动作”模型进行预训练。配对样本用于监督未来视觉潜表征与运动轨迹的条件联合生成，而纯视频样本和纯运动样本则分别针对各自模态提供边缘监督。这种设计使得异构数据流能够共同约束单一的“视频-运动”模型，而无需引入独立的单模态训练阶段。

具体而言，纯运动训练即便在缺乏视觉观测的情况下，也能学习全身运动学结构与动力学特性；而配对训练则将这种粗粒度的动作表征与场景演变进行对齐。该方案使得无需机器人参与的数据能够在机器人指令落地（grounding）之前，同时贡献视觉上下文信息与运动学结构信息。

该模型采用流匹配（flow matching）[71] 目标函数进行训练。对于每一个可观测的未来 Token x_0（x_0 既可以是视觉潜 Token，也可以是运动 Token），采样高斯噪声 epsilon 和流匹配时间步 tau ～ U(0,1)，并沿线性概率路径对速度场进行监督。

该模型根据带噪的未来 Token x_tau、任务指令 I 以及上下文帧 (Z_C, M_C)，预测任务条件下的速度 u_theta(x_tau, tau, I, Z_C, M_C)。仅针对在相应训练样本中模态可用的有效目标 Token 施加监督。将由此产生的视觉流匹配损失和运动流匹配损失分别记为 L_V 和 L_M。

每个样本仅激活与其观测模态相关的项：成对样本同时使用视觉损失 L_V 和运动损失 L_M；仅含视频的样本仅使用 L_V；仅含运动信息的样本则仅使用 L_M。在运动目标数据可用时，还会引入几何感知正则化，以促进物理上一致的全局运动及局部末端执行器动力学特性。

后训练阶段。预训练的先验“世界-动作”模型（参数为 θ）基于第一人称视角数据学习视频-运动生成模型，其中预测的运动为未来行为提供粗粒度的动作空间。为了使该先验模型适应真实机器人的控制，引入一个参数为 φ 的轻量级动作专家模块，并利用机器人轨迹数据对组合模型进行后训练。

利用机器人的里程计数据和关节状态，通过正向运动学构建机器人运动序列 M，并采用与人类运动相同的表征方式。因此，每条机器人轨迹不仅提供可执行动作的监督信号，还提供视觉和运动目标。这些额外的训练信号既保留并扎实预训练的视频-运动动力学特性，又使动作专家能够学习特定于具身形态的指令。

在后训练过程中，从机器人轨迹中采样一个视频-运动窗口，并在预测区间内选定一个动作查询时刻 q。视频帧被编码为视觉潜表征，先验“世界-动作”模型则采用与预训练阶段相同的视觉与运动流匹配损失函数进行训练。在前向传播过程中，从选定层提取隐状态 H^θ(τ)；这些状态概括任务条件下的视频-运动上下文信息，并通过单向连接传递给动作专家。

其采用动作分块（action-chunking）策略 [72]，即策略模型在每个查询时刻 q 预测一个连续动作序列。动作专家基于带噪动作片段、先验隐上下文及机器人观测 O_q，去预测相应的流匹配（flow matching）速度。如图 4 所示：

推理阶段。在推理过程中，先验世界-动作模型会周期性运行，利用近期的观测数据和任务文本生成未来的视频与运动规划。该模型的中间隐状态会被转换为策略端的缓存，并在多个控制窗口内重复使用。

除了基于更新后的图像和本体感觉的反馈外，统一的运动表征还提供一条运动层面的反馈路径：在缓存刷新之前，可以将机器人近期的运动学数据与预测的粗略全身规划进行比对并将其纳入考量。因此，动作专家能够针对身体及末端执行器运动的偏差做出响应，而无需仅依赖视觉反馈。

在去噪步骤 n，动作专家预测速度场并更新动作样本。

动作专家通过复用先验模型当前的 KV 缓存，以高频率生成动作片段；该缓存会在其上下文内容被完全消耗之前，利用更新后的机器人反馈进行低频率刷新。这种设计将低频率的世界规划与低延迟的动作生成分离开来，同时确保策略既基于先验世界-动作模型生成的当前规划，又基于实时的机器人观测数据。

---

1 实验设置

硬件设置

实机系统基于 Unitree G1 人形机器人构建，用于全身灵巧遥操作。该平台集成双臂（每臂 7 自由度）及 Linker Hand O6 灵巧手以实现上肢操作，并在机器人头部安装 Intel RealSense D435i RGB 相机，用于获取以自我为中心的视觉观测信息。策略推理在配备单块 NVIDIA RTX 4090 GPU 的外部工作站上进行。在部署阶段，底层控制器通过 ZMQ 与策略服务器进行闭环通信，并实时在机器人上执行预测出的指令。

基于 VR 的全身遥操作流程

利用基于 VR 的全身遥操作系统采集真实机器人的演示数据。操作员佩戴 PICO VR 头显、两个脚踝追踪器（PICO trackers）以及两个手持控制器，以提供全身运动输入。XRoboToolkit [73] 根据 VR 设备的实时数据流估算操作员的 SMPL 姿态，而 SONIC [19] 则将估算的姿态转换为稳定的 29 自由度全身控制指令，并以 50 Hz 的频率在 Unitree G1 上执行。在遥操作过程中，系统同步记录机器人的本体感知数据、以自我为中心的 RGB 观测信息以及运动指令（包括手部控制信号和 SONIC 运动 Token），从而构建特定任务的训练后数据集。该系统的概览如图 5 所示。