26年6月来自北大、新加坡国立、MIT、UCSB和Nvidia公司的论文“HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining”。

具身基础模型有望像大语言模型那样受益于数据规模的扩展，但目前面临着更为严峻的数据瓶颈。由人类远程操作真实机器人产生的轨迹数据，因其具备精确的动作监督和具身对齐特性，一直是预训练的主要数据来源；然而，受限于高昂的采集成本、获取难度以及行为与环境多样性的匮乏，其扩展性受到很大限制。这些局限性促使人们关注“以自我为中心的人类视角视频”（egocentric human video），将其视为一种可扩展、成本大幅降低且更具多样性的具身模型预训练替代方案。尽管如此，与远程操作的真实机器人数据相比，此类视频的实际效能尚缺乏充分研究。为探究这一问题，在统一的后处理与验证流程下，系统比较人类视角视频与远程操作机器人轨迹数据作为具身基础模型预训练源的效果。研究发现，若采用精心设计的筛选与标注流程处理人类视角数据，其不仅能作为模型预训练的可行替代方案，甚至能带来更优的性能表现。在预训练数据量相同的情况下，基于人类视角数据预训练的模型，在真实机器人动作预测任务上的验证损失降低 24%；同时，在真实机器人任务执行方面，其在分布内（in-distribution）和分布外（out-of-distribution）场景下的成功率分别提升 52.5% 和 90%。这一发现验证具身基础模型的一种可扩展范式：即先利用人类视角视频进行预训练以学习多样化的世界表征，随后利用少量已标注的真实机器人数据进行适配，以实现动作空间的对齐。我们希望这项研究能推动学界对人类视角数据的广泛探索，并为在开展高成本机器人数据采集前进行数据质量评估提供指导。

如图1 所示：

一种实用的具身模型构建方案遵循了在语言及视觉-语言建模领域已获广泛验证的“预训练-后训练”范式：预训练阶段利用大规模异构语料学习通用的视觉与物理表征，而后训练阶段则使模型适应特定的具身形态、相机配置及任务分布。因此，预训练与后训练侧重于不同的数据特​​性。预训练受益于数据的“覆盖广度”：即广泛接触各种场景、物体、交互和行为，从而支持生成具有泛化能力的表征。相比之下，后训练更强调“对齐”：即利用与具身形态相匹配的观测数据和动作数据，使预训练模型适应目标具身形态、相机设置及任务分布。因此，预训练数据源的选择不在于哪种模态本身更优，而在于哪种模态能提供大规模的覆盖范围。从四个维度对比人类第一人称视角（egocentric）视频数据与机器人遥操作数据：可获取规模、采集成本、获取难度及多样性（见图2和表1所示）。

1 可获取规模

这两类数据源的规模存在数量级上的差异（见图1、表1所示）。尽管学界已投入多年努力，但单个机器人数据集的规模通常仅在数百至数千小时之间；即便将所有公开数据集进行最大规模的汇总，总量也仅约为2万小时，这仅相当于单个实验室内部持有的数据量 [4, 10, 25]。相比之下，第一人称视角视频数据的规模高出一个数量级：仅Egocentric-100K这一个数据集的规模就已数倍于所有机器人数据集的总和 [6]；此外，前沿系统也日益倾向于将机器人数据与规模大得多的第一人称视角数据结合使用 [25]。HumanNet [9] 是构建工作的基础数据集，它汇集了100万小时的人类活动数据（其中超过80万小时为第一人称视角数据），从中提取5000小时的数据作为预训练子集。仅这一子集的规模，便已超过任何开源遥操作数据集所能达到的水平。

2 采集成本与获取难度

规模上的差距直接源于成本结构的不同。机器人遥操作需要配备机器人、遥操作装置、全程参与的受训操作员、预设场景以及持续的设备维护；即使是低成本的 ALOHA 平台，每个工作站的成本也约为 2 万美元 [38]。由于成本主要由持续的人力和硬件投入构成，总数据量仅随设备规模和预算呈线性增长 [2, 18]。以自我中心视角（egocentric）采集数据则在各个维度上颠覆这一模式：视频既可以通过现成的相机或头戴式设备被动录制，也可以直接从网络获取（无需采集成本）[14, 21, 26]，从而大幅降低增加一小时数据所需的边际成本。主要的挑战也从数据采集转移到数据筛选与处理（包括过滤、去重、隐私审查以及通过手部姿态重定向进行的伪动作标注）；这是一次性的、可自动化的计算成本，而非持续的人力投入。此外，人类数据的单位效率也更高：短短几分钟的自我中心视角演示，其效果往往能媲美甚至超越时长久得多的遥操作过程，且动作更连贯、空闲时间更少 [34]。

3 规模带来的多样性

仅靠数据量本身不足以实现有效的具身智能预训练：关键在于，每一小时新增数据是否能让模型接触到新的状态、动作、交互方式及视觉场景。为了在受控条件下比较人类自我中心视角视频与真实机器人数据，从各自 5000 小时的数据池中随机抽取约 2 小时的子集，并计算图 2 所示的统计指标。结果显示，与 HumanEgo [34] 的既往研究一致，采样的人类自我中心视角视频在动作质量上也优于真实机器人数据：人类动作轨迹更平滑（表现为更低的归一化加加速度/jerk，见图 2a），且动作空闲时间显著更少（见图 2b），这意味着静止或无信息量的片段较少。

除了动作质量，对于扩展规模而言，更重要的问题在于数据是否能持续提供非冗余的经验。在子集规模相当的情况下，自我中心视角数据比采集的真实机器人数据具有显著更高的多样性：

• 工作空间覆盖范围：真实机器人的动作集中在固定工作站可及的有限区域内，而人类的自我中心视角动作则涵盖更广阔的 XZ 平面工作空间，这得益于不受限制的日常活动（见图 2c）。
• 跨次变异性：以自我为中心的轨迹在不同演示之间表现出较大的位置变异，这表明不同的演示占据更多样化的空间构型，而非反复沿着狭窄的运动流形移动。参考 HumanEgo [34] 的做法，通过测量归一化时间轴上各演示间的位置离散度来量化这一效应（图 2d）。
• 交互词汇：统计从任务描述中提取出的独特“动词-宾语”对集合。机器人数据受限于预设脚本的采集任务，因此仅包含重复的有限交互；相比之下，以自我为中心的视频（egocentric video）呈现出一种长尾分布的开放式交互词汇特征（图2e）。
• 视觉场景覆盖：根据从图像描述（caption）中提取的场景术语来衡量场景语义的多样性。真实机器人数据因采集环境有限而迅速达到饱和；而以自我为中心的视频则涵盖更广泛的场景（如家庭、车间、厨房、户外环境）以及各类物体和表面（图2f）。

综合来看，这些维度表明真实机器人数据的饱和属于结构性问题——即源于环境受限、工作空间覆盖固定及任务脚本化，而非特定采集工作所带来的偶然偏差。相比之下，以自我为中心的视频既包含丰富的信息，又具有较低的冗余度：在相同的采样时长下，它能让模型接触到更广泛的动作、空间、交互及视觉变化。

一个分工。分析揭示具身智能训练中的明确分工。以自我为中心的视频在预训练所看重的维度（如规模、边际成本、动作多样性、交互多样性及场景多样性）上占据优势；其主要短板——“具身差异”（embodiment gap）——恰好可以通过少量的运动学对齐（kinematically aligned）机器人数据在后训练阶段加以修正。远程操作数据在后训练所需的维度（即具身对齐）上表现最强，而在预训练所需的维度上则表现最弱。一个待验证的经验性问题是：在规模相当的情况下，对于下游策略而言，以自我为中心视频预训练在多样性方面的优势，是否超过机器人数据预训练在运动学对齐方面的优势？

研究一种基于自回归世界动作模型（Autoregressive World Action Model）的自我中心视角（egocentric）预训练方法，该方法通过 Mix-of-Transformers (MoT) 架构统一视频动态预测与动作推理。具体而言，视频专家模型（video expert）基于 Wan 2.2 初始化，而动作专家模型（action expert）则通过插值方式初始化。为了隔离预训练数据源（substrate）的影响，比较分别在自我中心人类视频数据和真实机器人数据上预训练的模型在后续训练（post-training）后的性能。在这些比较过程中，严格保持后续训练数据、计算预算及评估协议的一致性。

数据集划分遵循一个原则：在每个阶段引入受控的分布偏移（distributional shift），以便下游性能能够反映预训练数据源的质量。分别在自我中心数据和真实机器人数据上进行预训练，在与上述两者均不重叠的真实机器人数据集上进行后续训练，并在两个留出（held-out）数据集上进行评估，分别衡量分布内鲁棒性（in-distribution robustness）和分布外外推能力（out-of-distribution extrapolation）。

阶段 1：预训练数据。构建两个时长均为 5,000 小时但采集方式不同的预训练数据集：
自我中心数据（Egocentric）。精选自 HumanNet [9] 的自我中心视角部分；利用重定向后的手部姿态信号估算每个片段的末端执行器姿态和夹爪状态作为伪动作标签，从而使其与机器人数据处于相同的动作空间。该数据集涵盖了开放世界中的背景、物体及交互技能。
真实机器人数据（Real-robot）。包含精确末端执行器姿态和夹爪状态的多具身（multi-embodiment）轨迹数据，汇总自多个真实机器人数据集。尽管其环境多样性和任务场景相比自我中心数据较为有限，但它提供运动学对齐的具身先验（embodied priors）。

阶段 2：后训练数据。对于后训练，从 AgiBot World [2] 构建一个真实机器人数据集，选取 15 个操作任务，每个任务包含 100 个专家演示，总计 1,500 条轨迹。与预训练阶段的机器人数据相比，该后训练集包含更多样化的背景和物体实例，为预训练策略的适应提供更丰富的下游操作场景。

评估协议。使用验证集上的流匹配（flow-matching）动作损失，在阶段 2 的留出机器人数据上评估模型。报告在两个数据集划分上的评估结果。 “已见”（Seen）划分包含来自15个后训练任务的轨迹；在这些任务中，任务语义在后训练阶段是已知的，但评估轨迹涉及未见过的物体实例与变体，旨在衡量模型在后训练任务分布内的鲁棒性。“未见”（Unseen）划分包含25个未纳入第二阶段后训练的任务，作为评估模型分布外泛化能力的主要依据。该划分旨在检验：相比于基于真实机器人预训练（其场景与物体覆盖范围相对有限）所学习的运动学对齐先验，从以自我为中心（egocentric）的预训练中学习的开放世界先验，是否能更好地迁移至新操作场景中。