26年7月来自Georgia Tech Danfei XU组的论文“EGOWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data”。

以自我为中心（egocentric）的人类数据为机器人操作学习提供可扩展的监督信号。然而，行为克隆（behavior cloning）往往将可迁移的内容（如物体、场景和任务语义）与不可迁移的因素（如人体形态、头部运动和行为风格）混淆在一起。本文探讨“世界动作模型”（World Action Models，简称 WAMs）是否能提供更优的训练信号——即要求策略不仅预测动作，还要预测场景的演变过程。核心问题在于，何种世界表征最有利于实现从人类到机器人的技能迁移。假设，一个有效的世界预测目标应当能够抽象化外观特征、捕捉与具体智体无关的物理效应，并将相机运动与环境变化分离开来。为此，提出 EGOWAM 这一受控的人机协同训练框架；该框架固定策略主干网络、动作预测头和数据混合方式，仅改变模型的世界预测目标，即对比像素（Pixel）、DINO 和 3D 运动流（3D motion flow）这几种表征的效果。在三项现实世界的双臂操作任务中，与行为克隆相比，WAM 协同训练能更有效地利用“野外”采集的以自我为中心人类数据。实验发现，基于像素的预测迁移效果较差，而 DINO 和 3D 运动流则带来了显著的性能提升：DINO 将针对分布外（out-of-distribution）物体和场景的泛化能力提升了多达 4 倍，而 3D 运动流则使域内（in-domain）性能提升了 20%–30%。

---

以自我为中心（egocentric）的人类数据为扩展机器人操作能力提供了一个极具前景的来源，它涵盖了物体、场景和行为的多样性，而直接在机器人上收集这些数据往往成本高昂 [1, 2, 3]。越来越多的研究利用这一特性开展行为克隆（BC）联合训练，即将人类演示重定向（retargeting）到机器人兼容的动作空间，并联合训练模仿策略 [4, 5]。近期的研究 [6, 7] 表明这种范式具有扩展潜力，但前提是人类数据必须在视角、运动速度和行为风格上与机器人精确对齐。若缺乏这种对齐，动作层面的联合训练会引入机器人无法执行的类人动作，从而降低下游任务的性能（图 1所示）。这是动作层面联合训练带来的深刻教训：共享动作解码器是人类数据影响策略的唯一通道，这迫使策略将可迁移内容（物体、场景、语义）与不可迁移的执行特征（形态、行为风格）纠缠在一起，而后者存在的具身差异（embodiment gap）阻碍了前者的迁移。

世界动作模型（WAMs）[8, 9, 10, 11] 开启了第二个监督通道：一个辅助的世界模型头（world-model head）基于共享的主干网络预测未来状态，从而将动作预测建立在与任务相关的动力学基础之上。由于该通道基于观测而非动作进行运作，它在很大程度上不受不同具身之间形态和行为风格差异的影响。与动作相比，任务相关的动力学特征更容易在不同具身之间迁移；因此，即使人类数据的动作标签无法直接用于训练，该数据仍能通过世界模型通道塑造共享主干网络。通过将监督信号解耦为“世界如何演变”和“各具身如何行动”两个方面，WAMs 能够构建更具通用性的表征，从而实现比动作层面联合训练更有效的、基于大规模野外（in-the-wild）人类数据的扩展。

然而，WAMs 在人机联合训练中的潜力，取决于一个尚未得到系统研究的问题：在 WAM 联合训练框架下，什么样的世界表征能够实现跨具身的有效迁移？大多数世界动作模型（WAM）利用预训练的视频 VAE [8, 9, 10, 11] 来预测像素；然而，该 VAE 的潜表示（latent）是针对光度重建进行优化的，导致了运动与外观的耦合——这是像素级 WAM 联合训练中主要的失效模式。世界表征应满足三个理想特性：外观抽象、跨具身（cross-embodiment）一致性以及自我运动解耦。随后，其研究两种在不同程度上满足这些特性的替代方案：DINO 特征 [12, 13]（其语义先验能抽象外观并对齐不同具身间的预测，但在空间上仍基于图像网格索引）和 3D 运动流 [14, 15]（后者通过与相机坐标系对齐的几何基础，从构建机制上满足上述所有三个特性）。

EGOWAM，是一个基于异构预训练 Transformer 主干网络 [16, 7] 构建的人机 WAM 联合训练框架。EGOWAM 采用共享动作头和可替换世界模型头的架构，并在人类与机器人数据上进行联合训练，从而在主干网络和数据混合方式保持一致的前提下，能够单独考察世界表征的影响。

---

1 将动作通道对齐作为强基线

首先尽可能对齐动作通道，以确保行为克隆（BC）联合训练成为一个强基线，而非仅仅是一个“稻草人”式（即易于击败）的对比对象 [7]。考虑两个数据集：一个是使用 Project Aria 眼镜 [62] 采集的人类第一人称视角（egocentric）数据集 D_H = {(o^H_t, a^H_t)}，另一个是双臂遥操作机器人数据集 D_R = {(o^R_t, a^R_t)}。两者均包含第一人称 RGB 视频流 I^{ego}，而机器人数据还额外包含安装在手腕上的相机视角 I^{wrist}。

将跨形态（cross-embodiment）的动作统一映射到 14 维末端执行器空间：即每只手臂 6 自由度（DoF）的 SE(3) 位姿加上 1 维的夹爪控制指令。机器人的动作序列 a^R{t:t+k} 是通过正向运动学根据关节角度计算得出的，并被重新表示在静态的第一人称相机坐标系中。人类手部姿态 p^H{t+i} 原本是在随头部移动的设备坐标系中表示的（涉及变换矩阵 T^{device}t）；为了消除头部自身运动的影响，将其重新表示为相对于 t 时刻设备坐标系的姿态，即 a^H{t:t+k} = (T^{device}_t){-1} T^{device}{t+i} p^H{t+i}，从而确保相同的物理动作在不同形态间产生可比较的数值轨迹。

坐标对齐后仍存在两处残余的不匹配：(i) 速度。人类的动作速度快于遥操作机器人，因此针对不同形态采用涵盖相当动作进度的不同时间窗口——人类为 T^H = 1 秒，机器人为 T^R = 1.5 秒——并将两者均离散化为 k 个步骤，从而获得语义对齐的轨迹。用 k 表示重采样后的片段长度，使用 T 在 {T^H, T^R} 表示原始时间跨度，其中世界模型的目标状态 s_{t+T} 是基于原始时间进行索引的。(ii) 工作空间范围。采用分位数归一化（quantile normalization）方法，将每个动作维度的第 1 百分位数和第 99 百分位数映射到 [-1, 1] 区间，这种方法对手部追踪过程中的异常值具有鲁棒性。

基于这些对齐的输入，利用跨具身行为克隆（BC）目标 L_{BC-cotrain} 对共享编码器 f_phi : O_H U O_R → Z 和共享动作解码器 pi_theta(a | z) 进行端到端训练；该目标具体表现为各具身条件流匹配（CFM）损失之和，即 L_{BC-cotrain} = L^{robot}{CFM} + L^{human}{CFM}。这是本系统所支持的最强动作对齐基线；剩余的迁移差距迫使其引入世界模型接口。

2 WAM：作为世界级迁移接口

为了开启第二条监督通道，在 BC 策略中增加一个辅助性的未来预测头，从而构建世界动作模型（WAM）系列。共享编码器 f_phi 将当前观测映射为潜表征 z_t = f_phi(o_t)，随后两个并行分支（即“头”）从中提取感兴趣的模态信息：一个是生成动作序列片段 a_{t:t+k} 的动作头 pi_theta(a | z)，另一个是预测时间跨度为 T 时的未来状态 s_{t+T} 的世界模型头 g_psi(s | z)。这两个分支在共享主干网络（trunk）内融合，并联合进行训练，损失函数为 L_{WAM} = L_{action}(a_{t:t+k}) + lambda L_{world}(s_{t+T})，其中 lambda$ 用于权衡动作保真度与未来预测监督信号。其关键特性在于：L_{world} 通过两种具身形态产生的动力学过程来监督共享主干网络，而 L_{action} 则通过对齐动作进行监督。因此，即使人类数据的动作标签无法实现精确迁移，该模型仍能通过未来场景预测来塑造共享表征 z_t。

这种重构揭示一个既往 WAM 研究尚未系统解决的核心问题：s_{t+T} 应当是什么？世界目标（world target）决定了人类数据和机器人数据是收敛于共享表征，还是因具身特有的信号而被拉开差距。

---

为了实现 WAM 协同训练从“以自我为中心的人类数据”向“机器人操作任务”的迁移，针对世界表征提出三个理想特性：
• (D1) 外观抽象化。以光度重建为目标的监督信号会迫使表征主体（trunk）编码特定于具身形态的外观信息，从而挤占了那些决定任务结果的结构性信息。
• (D2) 跨具身一致性。目标表征应侧重于动作产生的效果而非执行动作的主体；因此，当人类手部和机器人夹爪引发相似的物理变化时，应产生相似的监督信号。
• (D3) 自我运动解耦。基于图像坐标的目标会将头部旋转与场景变化混为一谈，导致同一事件在“移动的人类视角”与“静止的机器人视角”下受到不同的监督。

上述特性构成 EGOWAM 研究的核心维度；沿此维度具体实现了三种目标表征：像素级 VAE、DINO 特征以及 3D 光流。图 2 展示了模型架构的概览，

1 单主干架构与控制变量

EGOWAM 基于异构预训练 Transformer (HPT) 主干 [16, 7] 构建，其中针对特定具身（embodiment）块（stem）将各项输入token化至共享的潜空间，并由单一 Transformer 主干处理统一的 Token 流。这种归纳偏置自然地扩展到 WAM中：观测、动作和未来预测 Token 共存于同一序列流中，并在同一主干内进行注意力交互，从而将未来动态和动作预测呈现为共享潜表示的两种不同读出（read-out）结果。沿用原有的 Tokenizer 和主干，并新增一组可学习的“未来 Token”以及一个可替换的、用于处理这些 Token 的世界模型头（World-Model Head）（前面图 2所示）。

异构 Tokenizer。每种具身通过浅层的、特定于具身的块（Stem）进行 Token 化。共享的自我视觉（ego-vision）块（Stem）利用 ResNet-18 编码器 [63] 或预训练的 DINO 编码器 [12, 61] 对 I^{ego}_t 进行编码；对应的腕部视觉（wrist-vision）块（Stem）则在机器人数据批次上对 I^{wrist}_t 进行编码。本体感觉（proprioception）块（Stem） 利用针对特定具身的 MLP 对末端执行器位姿进行编码。随后，共享的可学习动作 Token 和未来 Token 对主干进行查询，主干将它们引导至动作头和世界模型头。

动作头。动作头 pi_theta 是一个多层 Transformer 解码器，采用条件流匹配（conditional flow matching）[64, 7] 方法进行训练。给定干净的动作片段 a_{t:t+k} 和噪声 epsilon ～ N(0, I)，采样 tau ～Beta(1.5, 1.0) 并构建 a^tau{t:t+k} = (1 - tau)epsilon + tau a{t:t+k} 以初始化动作 Token，同时将 tau 嵌入到隐维度中。交替进行的自注意（self-attention）和交叉注意（cross-attention）模块在注入主干上下文信息的同时对 Token 进行去噪，最后通过线性层将其映射到动作维度。

可替换的世界模型头。世界模型头 g_psi 以主干输出的嵌入（embeddings）为条件，预测特定于具身的时间跨度 T 处的未来状态 s_{t+T}。

2 世界模型目标实例化

本文实例化三个涵盖期望特性 (D1)–(D3) 的世界模型目标，每个目标将目标状态 s 与合适的预测头（head）配对，并在共享的线性路径 s^tau = (1-tau) epsilon + tau s（其中 tau in [0,1]，epsilon ～ N(0,I)）下进行训练。

Pixel VAE（重构基线）。该 Pixel-VAE 变体在预训练视频 VAE [59] 的潜空间中预测未来的自我视角帧（ego frame），该 VAE 针对光度重构进行优化：s = VAE(I^{ego}_{t+T})。预测头采用遵循 VACE-1.3B [65] 架构的扩散 Transformer (DiT)（无文本条件），初始化方式包括预训练权重 (Pixel-PT) 或从头开始 (Pixel)，训练目标为预测噪声：L^VAE_world。该目标不满足上述任何期望特性，作为重构级基线。

DINO 特征（语义抽象）。目标是 t+T 时刻自我视角帧的 DINO [12] Patch 特征：s = DINO(I^ego_{t+T})，即用语义结构化空间中的预测取代光度保真度。预测头采用 RAE [13] 的 wide-DDT 设计，通过加宽去噪器以匹配语义潜变量的高通道数，并将噪声预测与特征条件化模块解耦。目标函数仍为噪声预测 L^RAE_world。由于 DINO 特征在图像坐标系中保持空间索引，因此关于自我运动的依赖性（D3）仅得到部分缓解。

3D 流（空间抽象）。目标是 [t, t + T] 时间段内的稠密 3D 运动场，表示为 t 时刻相机稳定坐标系下的形式：s = F_{[t,t+T]}。自我视角视频上的原始 3D 点位移主要由自我运动主导：当佩戴者转头时，静止物体会产生巨大的表观流。通过向预训练的 3D 点追踪器 [14, 15] 输入 Aria VIO 相机位姿 [62] 来解决这一问题，从而确保转换后的点位置 X_t 和 X_{t+T} 共享一致的世界坐标系。随后，将该未来位置映射回时刻 t 的相机坐标系：X ̃_{t+T} = (T ̃^camt)^{-1} T^camt+T X_t+T，并将流目标定义为 s = F{[t,t+T]} = X ̃{t+T} - X_t。经过这种稳定化处理后，静态背景产生的流接近于零，而被操纵物体则保留与物理位移成正比的运动，从而将动态特性从外观和视角中解耦出来。该“头”（head）是一个交替式自注意/交叉注意解码器，它将从当前自我视角（ego frame）均匀采样的查询点 q 作为附加条件输入，并回归这些点的速度：L^Flow_world。该目标在构造上满足上述所有三项期望特性，并且是这三个目标中空间定位最明确的一个。

3 联合训练与仅动作推理

每一步训练都从数据集 D^R 和 D^H 中抽取小批量样本；两者均通过共享的tokenizer和主干网络（trunk），随后动作头（action head）输出 L_action，世界模型头（world-model head）输出 L_{world}。这两种损失函数共同监督共享主干网络 f_phi：当人类动作标签的迁移效果较弱时，世界预测任务会进行补偿并塑造主干网络的表征。

仅动作推理。近期研究 [58, 10] 表明，世界动作模型（WAMs）受益于训练阶段的表征塑造，而非测试阶段的想象过程。因此，在推理阶段舍弃世界模型头，仅展开动作头，根据主干网络嵌入（embeddings）解码出动作序列 a_{t:t+k}。这种做法既能匹配同等规模 BC（行为克隆）策略的延迟（30 Hz），又能保留在联合监督下学到的跨具身（cross-embodiment）表征。这种解耦设计是方法定位的核心：EGOWAM 旨在研究何种世界表征能够实现迁移，且其研究成果可以按 BC 策略的成本进行部署。

---

1 实验设置

硬件设置。双臂机器人平台配备两只垂直安装的 6 自由度 ARX5 机械臂（带平行夹爪）、用于采集第一人称视角（egocentric）RGB 图像（与人类演示数据共享）的头戴式 Project Aria 眼镜 [62]，以及两台安装在手腕处的 Intel RealSense D405 相机。机器人动作定义为每只手臂末端执行器的 6 自由度位姿及夹爪状态（a_{t:t+k}）；人类与机器人的数据被统一转换至以相机为中心的 SE(3) 动作空间，并进行分位数归一化处理。

任务。在 EgoVerse 旗舰数据集 [7] 的三个双臂任务上进行评估，这些任务涵盖精确刚体操作、可变形体操作以及长时程序列操作：(1) 杯置于托盘（cup-on-saucer）：将杯子从随机位姿调整方向，并将其正立放置在随机位置的托盘上；(2) 折叠衣物（fold-clothes）：将 T 恤从随机初始状态折叠三次；(3) 装载杂货（bag-grocery）：打开购物袋，并将三个位于随机位置的物品装入袋中。

数据。利用 Meta Quest 3 针对每项任务采集 300–360 组机器人演示数据，其中包含随机的物体放置位置、朝向以及 4–8 种物体组合。人类数据涵盖两种在规模和观测对齐程度上存在差异的类型：(1) 域内（In-Domain）人类数据（与机器人数据比例为 1:1）：场景和物体与机器人数据相同，但视角和行为不匹配；(2) EgoVerse 数据（比例约为 10:1）：采用每项任务对应的完整 EgoVerse-A 旗舰数据集划分 [7]，包含多样的场景、物体和演示者，且未进行刻意的场景与物体对齐。

评估方案。每种方法均在 ID（域内）和 OOD（域外）场景下进行评估（各包含 20 次运行）：ID 评估涉及训练时见过的物体和场景，但位置与朝向随机；OOD 评估包含两种情况——在训练场景中使用 10 种未见过的物体，以及在具有不同背景和桌面高度的新颖场景中使用 10 种见过的物体。报告总计 1800 次真实世界运行中的归一化子任务得分及成功率。

---

如图10所示机器人平台和数据收集。 (a) 机器人平台：两个直立安装的 6 自由度 ARX5 手臂，配有两个腕部安装的英特尔实感 D405 摄像头和头戴式 Project Aria 耳机，由人类通过 Meta Quest 3 接口进行远程操作。 (b) 佩戴 Project Aria 眼镜的人自然地收集演示。 © 人类精心地与机器人的动作、高度和视角保持一致，产生与机器人平台相匹配的静态自我中心视图。