论文标题：Being-M0.7: A Latent World-Action Model for Humanoid Robots项目主页：https://research.beingbeyond.com/being-m07

人形机器人想要真正走进人类空间，光会「走路」或光会「动手」都不够——它必须边走边看、边想边做，在移动中协调全身完成操作。BeingBeyond 团队最新发布的 Being-M0.7 提出了一条新路径：不预测未来像素，而是在隐空间里同时预测「未来的场景状态」和「未来的身体动作」，再用一个轻量动作专家把这份「未来计划」翻译成机器人可执行的全身指令。在真实宇树 G1 上，它已经能完成照镜子推理抓取、水箱捞鱼、桌面整理、避障搬运等一整套移动操作任务。

一、人形机器人的「移动操作」难在哪？

让一个人形机器人在以人为中心的环境里移动并完成以物体为中心的任务（Humanoid Loco-Manipulation，移动操作），和固定底座机械臂的操作完全是两个量级的问题。论文指出，机器人必须同时决定「往哪走、身体朝哪转、手脚怎么配合、交互时如何保持稳定姿态」[1]。这意味着策略不能只盯着当前这一帧画面，还要推理未来的场景演化、身体运动和任务进度——问题本质上是时间维度的、全身性的。

尽管近两年机器人基础模型和世界-动作模型进展喜人，但把它们扩展到人形机器人移动操作上，论文总结了三个绕不开的障碍[1]：

**第一，数据贵。**人形机器人示教数据比固定视角机械臂数据难规模化得多：它需要同步的第一视角视频、本体感知和可执行全身指令，还受遥操作难度、安全性、硬件可用性和环境多样性的多重约束。

**第二，像素级未来预测又贵又「吵」。**在像素空间推演未来，会把大量模型容量花在与控制关系不大的外观细节上；而对人形机器人来说，快速的自身移动、视角切换和身体带来的相机抖动，还会让预测出的视觉轨迹充满噪声。

**第三，上下半身「各练各的」。**许多动作建模管线把上半身操作和下半身移动分开处理，导致上下肢协调薄弱，难以支撑自然的全身控制。

Being-M0.7 的设计，正是对着这三个痛点逐一给出的回应。

▲ Being-M0.7 总览：模型以「Transformer 混合（MoT）」结构在第一视角视频和人类动作数据上预训练，再通过动作专家后训练落地为人形机器人控制（来源：论文 Figure 1）

二、核心思路：在「隐空间」里同时预见世界与动作

Being-M0.7 的全称是一个潜在世界-动作模型（Latent World-Action Model）。它的关键取舍是：不在像素空间滚动未来，而是在隐空间预测未来状态，并把未来状态和「未来动作」耦合在一个紧凑的全身表示里——这套表示同时适用于人类和人形机器人[1]。

形式化地说，论文把人形移动操作拆成两个概率模型的组合[1]：

• 先验世界-动作模型

  ：给定短暂的历史观测（视觉隐变量 ZC、动作序列 MC）和任务指令 I，预测未来区间内的环境状态与粗略全身动作，即 P(ZQ, MQ | ZC, MC, I)。这里的 M 被视作「动作空间里的粗粒度计划」——它描述身体未来应该怎么动，但不指定具体可执行指令；

• 未来条件动作专家（Future-conditioned Action Expert）

  ：把预测出的未来上下文「精炼」成特定机器人本体可执行的指令，即 P(aq | ZQ, MQ, Oq, I)，其中 Oq 是机器人在查询时刻的实时观测。

这个分解带来一个很实用的工程性质：低频的世界建模与高频的动作生成被分开了。一次未来推演可以被多次低延迟控制更新反复使用，推理开销因此大幅降低。论文附录给出的数据显示：先验模型的缓存上下文每 3.5 秒刷新一次，动作专家每 0.4 秒查询一次，单次专家查询耗时不到 0.01 秒，最终指令由底层控制器以 50Hz 执行[1]。

三、数据配方：把可用监督从「千小时」拉到「万小时」

数据是这项工作的第一个重头戏。论文构建了一个超过 10000 小时的混合模态预训练语料（过滤与时间切分后约 10226 小时、来自 8 个数据集），由三条互补的数据流组成[1]：

• 第一视角视频-动作配对数据

  （监督视觉与动作的联合分布）；

• 纯第一视角视频

  （约束视觉边缘分布）；

• 纯人体动作序列

  （约束动作边缘分布）。

从构成上看，饼图显示内部数据集占 49.95%，Ego4D 占 35.94%，Xperience 占 7.6%，Nymeria 占 2.94%，Bones-SEED 占 2.82%，SnapMoGen、HumanML3D 与 LAFAN 合计约 0.075%。外部公开数据包括 Ego4D、Xperience、Nymeria、Bones-SEED、SnapMoGen、HumanML3D、Lafan1 等；内部数据则包含 Being-H0.5 与 Being-M0.5 的部分训练数据以及商业采买数据[1]。

▲ Being-M0.7 数据配方：约 10226 小时、8 个数据集，覆盖第一视角视觉与 3D 人体动作（来源：论文 Figure 3）

视觉一侧，所有帧都由一个冻结的 DINO 编码器编码为隐变量 Z = E(V)，这些视觉隐变量既作为输入、也作为生成目标。也就是说，模型做的是「视觉隐变量级」的生成而非像素级视频生成——生成空间的维度被压缩，视觉目标被「掰向」语义状态、物体布局和场景演化，而非低层像素重建。这正是「潜在」世界-动作模型名字的由来[1]。

统一动作表示：用「头」做根节点，只保留五个关键点

动作一侧的设计同样巧妙。论文把来源各异的人体动作统一转成以头为根节点（head-root）的表示——不同于传统以骨盆为根的身体中心表示，头作为根关节能与第一视角视觉流天然对齐（第一视角相机本来就「长」在头上）。转换时还会做规范化处理，例如去除初始朝向、把身体对齐到以地面为中心的坐标系，从而减少数据集各自的「癖性」[1]。

更进一步，团队提出了一套统一紧凑动作表示：只保留头部、双手、双脚。它不追求保留全身运动学细节，而是保留下游机器人控制真正需要的交互与接触线索。由于同一套表示既能从人体动作构建、也能从人形机器人轨迹构建，它在人与机器人之间架起了一座跨越形态差异的桥：在后训练中，它比单纯的「可执行指令标签」提供更丰富的监督；在推理时，它还额外暴露了一条动作级反馈通路，支撑协调的全身控制[1]。

四、模型架构：视频-动作「Transformer 混合体」+ 未来条件动作专家

▲ Being-M0.7 训练框架总览：左上为多模态数据配方，左下为人-机器人统一动作空间，右侧为模型架构（来源：论文 Figure 2）

架构上，Being-M0.7 由一个先验世界-动作模型和一个轻量动作专家组成，二者之间是单向连接：动作专家接收预训练先验模型的中间表示，但动作信息不会回传给先验模型——动作预测站在先验的肩膀上，却不改变先验处理输入的方式[1]。

MoT：模态各算各的，注意力一起算

先验世界-动作模型实现为一个 Mixture-of-Transformers（MoT）。在每个 block 里，视觉 token 和动作 token 使用各自独立的 LayerNorm、QKV 投影、输出投影和前馈网络；但两者的 Q、K、V 会在一次共享注意力中汇合，让每个有效的视觉 token 都能跨越时间与动作 token 交换信息，同时保留模态各自的参数化。两条流还会对指令特征做交叉注意力（指令由冻结的 DistilBERT 编码），流匹配时间步 τ 的正弦嵌入则通过模态特异的自适应层归一化调制各模态的计算[1]。

正是 MoT 的模态特异分支，让同一套架构能「通吃」配对数据、纯视频数据和纯动作数据：配对样本同时监督视觉与动作，单模态样本只监督自己那一支。这把可用预训练监督从配对数据的千小时规模扩展到超一万小时，同时在双模态都在场时保留显式的跨模态交互[1]。

▲ 共享多模态注意力细节：V、M、I、A 分别为视觉、动作、指令与动作的隐状态，隐状态以交叉注意力形式注入动作专家（来源：论文 Figure 4）

训练采用流匹配（Flow Matching）目标：对区间内的未来 token 加噪，模型预测任务条件下的速度场。序列上前 K 帧是干净的上下文 token，未来区间的 token 在采样的流时间步上被腐蚀；配合分块注意力掩码，上下文 token 只能看历史、看不到未来，而所有带噪的未来 token 可以共同关注完整历史并彼此互动——这种非因果的目标交互让模型能并行去噪整段未来「视频-动作」块[1]。只要有动作监督，还会附加几何感知正则项，鼓励全局轨迹与局部末端执行器动态在物理上更一致。

动作专家：站在先验「多个深度」的肩膀上做决策

后训练阶段，团队在先验模型旁挂上一个独立的流式 Transformer 作为动作专家。机器人观测 Oq 包含当前第一视角图像（由同一个冻结 DINO 编码）、本体感知状态（关节位置、关节速度、投影到机体系的重力方向）和归一化的执行进度。在第 j 个专家层，动作 token 会同时关注三样东西的拼接：对应先验层的隐状态序列、当前动作 token 状态、当前机器人观测 token[1]。

由于先验模型（30 层、隐藏维度 768、24 头）比动作专家（6 层、隐藏维度 384、8 头）深得多，专家层以近似均匀的方式连接先验的第 1、7、13、18、24、30 层。论文解释，这种多深度条件化让策略既能拿到细粒度的视觉与动作特征，也能拿到高层的未来动态表示；而 Oq 则保证策略在机器人控制频率上保持闭环响应能力[1]。

推理时还有一条容易被忽略但很重要的通路：统一动作表示暴露出的「动作级反馈」。近期的机器人运动学状态可以与预测的粗略全身计划做比较、并在缓存刷新前融入其中——动作专家因此能对身体和末端执行器的偏差做出反应，而不只依赖视觉反馈。

五、真机实验：照镜子抓玩偶、提网捞鱼，四项任务全覆盖

真机系统基于宇树 G1 人形机器人搭建：双臂各 7 自由度，末端配备 Linker Hand O6 灵巧手，头部搭载 Intel RealSense D435i RGB 相机提供第一视角观测；策略推理在一台配单张 NVIDIA RTX 4090 的外部工作站上进行，底层控制器通过 ZMQ 与策略服务器闭环通信、实时执行指令[1]。

▲ 数据采集系统：操作员通过 VR 遥操作产生底层动作指令，预训练全身动作跟踪器控制机器人执行，同步采集第一视角图像、本体感知与动作指令（来源：论文 Figure 5）

示教数据通过一套 VR 全身遥操作系统采集：操作员佩戴 PICO VR 头显、两个踝部追踪器和两个手柄提供全身动作，XRoboToolkit 实时估计操作员的 SMPL 姿态，SONIC 把估计姿态转换为稳定的 29 自由度全身控制指令，以 50Hz 在 G1 上执行。遥操作过程中，同步的机器人本体感知、第一视角 RGB 观测和动作指令（含手部控制信号与 SONIC 动作 token）都会被记录下来，构成任务特定的后训练数据集[1]。

团队在四项真实任务上评估 Being-M0.7：镜面玩具抓取（Mirror Toy Grasping）、水箱捞鱼（Water-Tank Fish Scooping）、桌面整理（Tabletop Organization）、避障提篮（Obstacle-Avoidance Basket Carrying）。这四项任务分别覆盖部分可观测下的视觉推理、灵巧工具使用、长程多阶段操作、以及移动与操作的协调。对比基线为 Ψ₀ 与 GR00T-N1.6，所有方法都从贴了物理标记的同一起始位置初始化，以保证公平[1]。

|
方法
|
镜面抓取（近，0.5m）
|
镜面抓取（远，1m）
|
水箱捞鱼
|
总计
|
| — | — | — | — | — |
|
GR00T-N1.6
|
1/5
|
0/5
|
1/5
|
2/15
|
|
Ψ₀
|
0/5
|
1/5
|
2/5
|
3/15
|
|
Being-M0.7
|
3/5
|
1/5
|
3/5
|
7/15
|

▲ 真实世界定量评估结果（来源：论文 Table 1）

镜面玩具抓取是最能体现「推理」含量的任务：玩偶藏在一个半封闭的盒子里，从机器人的视角根本看不见，它必须通过镜子里的反射推断物体位置，再探手进盒抓取。机器人从 0.5 米（近）或 1 米（远）处出发，需要走近桌子、完成镜面推理、再灵巧抓取。Being-M0.7 在 10 次试验中成功 4 次，而 GR00T-N1.6 与 Ψ₀ 均为 1/10[1]。

水箱捞鱼则考验工具使用：机器人手持网兜捕捞水箱中的玩具鱼，要应对水带来的视觉畸变和不断变化的物体位置。定量设置只评估捕捞阶段（机器人初始化在水箱前指定位置），Being-M0.7 取得 3/5，优于 GR00T-N1.6 的 1/5 与 Ψ₀ 的 2/5[1]。

▲ 四项真实世界任务案例：(a) 镜面玩具抓取、(b) 水箱捞鱼、© 桌面整理、(d) 避障提篮（来源：论文 Figure 6）

定性案例进一步展示了更完整的能力拼图[1]：

• 水箱捞鱼（完整版）

  ：机器人走向水箱、为交互调整好身体站位、再下网捞鱼——移动与工具操作在一条长轨迹上被整合起来；

• 桌面整理

  ：机器人走到桌前，把法棍在两个篮子之间转移，再抓起一朵玫瑰后离开工作区，考察长程规划、场景理解与移动-操作协调；

• 避障提篮

  ：机器人提着篮子穿越多障碍环境，前行与侧移并举，在保持平衡、避免碰撞的同时稳定运送物体，考察协调移动、避障与负重操作。

论文总结，这些任务共同展现了感知、推理、移动与灵巧操作之间稳健的闭环协调。

七、更多技术细节：训练、推理与「计划复用」

预训练阶段，模型在配对视频-动作、纯视频、纯动作三类数据上以统一目标联合训练，全程使用 AdamW 优化器，序列长度 T=25、上下文长度 K=5、输入分辨率 224×224，先验模型以 5Hz 的帧率处理视频与动作序列[1]。论文特别指出，纯动作训练让模型即使在没有视觉观测时也能学到全身运动学结构与动态，而配对训练则把这种粗粒度动作表示与场景演化对齐——这让「无机器人参与」的数据能在指令落地之前，同时贡献视觉上下文与运动学结构[1]。

后训练阶段，机器人动作序列 M 由机器人里程计与关节状态经正运动学构建，且采用与人体动作完全相同的表示。因此每一条机器人轨迹不只提供可执行动作监督，还同时提供视觉与动作目标——这些额外的训练信号在动作专家学习本体特异指令的同时，保住并「锚定」了预训练得到的视频-动作动态[1]。动作预测采用动作分块（action-chunking）策略：每次查询预测一段连续动作，块长 Ha=20，对应 0.4 秒的动作时域；当前聚焦全身控制（WBC）设定，动作专家输出 SONIC 所需的通用控制 token 以及灵巧手的开/合指令[1]。

推理时，先验世界-动作模型周期性运行，根据近期观测与任务文本生成未来「视频-动作」计划，其中间隐状态被转换为策略侧缓存、跨多个控制窗口复用；先验与动作专家使用相同的 10 步流匹配去噪调度，一份先验推演大约被九次动作专家查询复用[1]。这套「低频规划、高频执行」的设计，把昂贵的世界推演摊薄到多次控制更新中，是让大模型级策略能实时驱动真实人形机器人的关键一环。

八、为什么这条路线值得继续关注？

从更宏观的视角看，Being-M0.7 与近期一系列工作（GR00T N1、WholeBodyVLA、Ψ₀、MotionWAM 等）共享同一个判断：人类第一视角视频不只是「示教」，更是关于未来场景与动作演化的预测性结构来源[1]。区别在于，Being-M0.7 没有直接去构建闭环人形策略，而是先预训练一个「先验」潜在世界-动作模型，让下游全身控制策略去复用从人类数据中学到的、时间上组织好的动作信息。

论文在结论中写道：Being-M0.7 的核心思想是从第一视角数据学习视频-动作世界先验，再通过动作级后训练适配到可执行的人形控制；通过在隐空间建模未来视觉状态并耦合紧凑动作动态，它为下游机器人动作生成提供了结构化的规划上下文，而不依赖像素级世界预测[1]。真机实验展示了这条路线在需要感知、运动预测与协调控制的全身移动操作任务上的潜力。

团队也明确给出了下一步方向：更精细的后训练过程、扩大机器人后训练数据规模、提升分布偏移下的鲁棒性，以及把框架扩展到更丰富的任务、环境与人形本体[1]。当「万小时人类数据 + 隐空间世界模型 + 轻量动作专家」这套配方继续放大，人形机器人在真实空间里「边看、边想、边动」的能力边界，值得持续观察。

具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html