第一部分  Perceptive Humanoid Motion from Simulation

1.1 引言与相关工作

1.1.1 引言

人形机器人能够翻跟头、跳舞和奔跑。然而,没有哪一台机器人能被请进一间陌生的客厅,然后被要求坐下。它们身手敏捷,却目不能视:后空翻动作预先编排好,机器人只需在无需感知的几何环境中执行即可

能让人形机器人真正派上用场的任务并非如此。这些任务发生在从未扫描过的房间里,周围摆放着未经标注的家具;机器人必须先找到椅子,才能坐上去

感知在两个层面上发挥作用,且抽象程度各不相同

  1. 一是语义层面,决定做什么:周围的物体中,指令指的是哪一个
  2. 二是物理层面,决定如何移动:机器人必须准确到达座椅的实际位置,并将自身重量转移到座椅上,同时保持平衡

无论哪一个层次,都不像后空翻那样受到监督。完成后空翻只需要一段参考动作视频,以及一个负责跟踪并复现动作的控制器,然而,将像素和自由形式语言映射到关节指令,需要成对的监督数据:一张第一人称视角图像、一条指令,以及满足该指令的精确全身轨迹

  1. 在自然语言处理领域,大规模数据量已经解锁了广泛的泛化能力 [1]
    但尽管文本和视频作为人们写作与拍摄的副产品十分丰富,可带有配套上下文的全身动作数据却并非如此。每个动作片段都必须专门采集
  2. 诸如 ALOHA [2] 和 TWIST [3] 这样的遥操作系统,或者像 UMI [4] 这样的可穿戴采集设备,都能生成这类示范数据,但它们将数据生成与体力劳动绑定在一起
    由于每个动作片段都必须由人手动演示,采集一小时的数据至少需要一小时的人力

HALO(Humanoid Autonomy,Learned in simulation, running Onboard,即“在仿真中学习并在机载系统上运行的人形自主系统”),一种由数据生成流程驱动的人形机器人自主系统,该流程完全在仿真环境中生成第一人称视角的视觉—语言—运动数据,由此学习得到的策略完全在实体机器人机载运行

具体而言

  1. 仿真使数据生成摆脱了对人力的依赖。无需人工干预,即可生成场景、合成动作,并渲染相应的第一人称视频
    使得原本需要耗费数小时(数天乃至数年)人力完成的工作,如今可以自主并行地进行,其限制因素仅为算力
  2. 为了创建一个训练 episode,作者使用动作扩散模型生成全身人形机器人动作,使用程序化生成器提供环境,再由仿真器将该动作置入环境中,从而渲染出机器人的传感器输入

该系统的训练语料总计包含 300 小时的 episode——遍历一千个程序化生成的家庭环境,无需任何人实际前往或扫描。数据规模随计算资源扩展,而非受限于人工投入的时间。质量则通过自动化验证器加以保证

总之,HALO 自主栈包含三层,如图 2 所示

  1. 一个编排器(每两秒调用一次的现成VLM)会将自由形式的自然语言请求分解为一系列子任务,每个子任务均指定一项技能及其作用对象
    即VLM(约 0.5 Hz)处理自然语言请求和自我中心视觉输入,并输出一系列子任务
  2. 一个以 3 Hz 运行的运动生成器,将基于 VLM 的编码器与基于 DiT 的解码器相结合,并把自中心的RGB 观测与子任务映射为一个全身运动学运动规划:包含五秒内的关节角度和骨盆姿态
    即运动生成器将每个子任务及相应的自我中心 RGB 帧映射为一个 5 秒的全身运动计划
  3. 最后,以50 Hz运行的运动跟踪器结合该运动计划、机载深度信息和本体感知信息,通过关节级执行器指令驱动机器人
    运动跟踪器通过大规模强化学习进行训练,以便在遵守平衡、接触和执行器限制的前提下跟踪运动计划

前两个层次解决问题的语义部分(是哪把椅子?);跟踪器则解决物理部分(在座椅实际所在的位置与之相接触)

1.1.2 相关工作

第一,对于动作运动监督

  1. 全身行为通常由记录的人体动作获得,再映射到机器人的运动学模型,并在硬件上进行跟踪 [5]–[7]
    参考轨迹通常来源于物理演示,可通过光学动作捕捉系统、遥操作服 [3]、手持式捕捉设备 [4] 或原始视频 [8] 获取
  2. HALO 无需人工收集这类数据,而是利用在人类动作上训练的生成模型直接生成轨迹 [9]
    生成的轨迹可能无法在物理上实现,例如脚部滑动、穿透地面或悬浮离地

    以往的方法在不同阶段处理这种物理不可行性:
    可以在采样器内部施加约束 [10],在基于物理的推演过程中检测出来 [11]
    也可以在数据集中事后修复 [12]

    HALO 则在采样后立即进行几何验证,并丢弃无效轨迹

第二,对于训练环境

要能够泛化到未见过的家庭环境,需要多样化的训练环境,这些环境可以通过重建或程序生成获得。如果部署目标已知,重建是非常有效的方法:简短的视频扫描所需成本比遥操作低 15 倍[13],且往往优于无关场景带来的多样性 [14]

因此,VLK 等系统仅在预先扫描的房间内进行训练和评估 [15]。然而,真正的自主性要求系统能够在此前未见过、未绘制地图的空间中运行

HALO 利用程序生成来获得多样化的训练环境 [16]、[17]

  1. 以往的方法有严格限制:GRAIL 能改变地形,但将物体交互限制在人工编写的模板内 [18];FetchMan 则仅针对单一的伸手抓取任务生成 150,000 个场景[19]
  2. HALO 消除了这些限制,在一千个程序化生成、具有不同建筑布局和家具的住宅中进行训练

第三,对于分层全身控制

  1. 将语言映射到关节指令的系统,可以根据语义推理与物理控制之间的接口来进行分类
    端到端方法完全省略这一接口,直接从语言或视觉预测关节目标 [21]、[22],或者仅使用生成的计划来塑造训练奖励 [23]
  2. 分层系统则使用显式接口,例如紧凑的任务空间指令 [13]、[24]、稀疏的身体关键点 [25],或学习得到的潜在词汇[18]、[26]

    与 HALO 最接近的体系结构会传递完整的全身运动学轨迹 [27]。以往方法采用这些架构时,规划时域从一秒 [15] 到整个任务 [20] 不等,重规划频率则从“ 从不重规划 [20] ”,到 2 Hz [11] 不等
  3. HALO 采用递推视界(receding-horizon)策略:向前规划五秒,但以 3Hz 的频率重新规划,在新观测取代当前轨迹之前,仅执行轨迹的前一部分

    此外,HALO 还通过引入一个高层协调器扩展了这一分层架构,该协调器将自由形式的自然语言请求转换为一系列子任务,在任务成功时推进,并在失败时主动重试

第四,具备感知能力的低层控制

  1. 纯本体感知控制器无法感知环境的物理几何结构
    虽说,在底层控制中引入视觉已是一项成熟的研究方向 [28]–[33],但这类感知策略通常针对狭窄、专门化的技能进行训练,例如穿越杂乱区域 [34]

    虽然一些框架试图通过在线选择[35] 或串联 [36] 这些技能来实现泛化,但仍受限于有限的技能库
  2. 与之相反的是,能够跟踪任意参考运动的通用跟踪器却缺乏感知能力

    当前生成动态全身参考动作的系统会将其传递给这些盲目的跟踪器 [7]、[8]、[11]、[15]、[20],从而使得机器人无法在物理环境偏离生成的计划时作出响应

HALO 通过引入一种感知跟踪器来弥合这一差距,该跟踪器融合了自我视角(第一人称)的深度信息,以跟踪生成的全身参考轨迹

第五,从仿真到真实环境的评估

仿真训练策略的真正能力取决于其在物理世界中的评估结果:它会遇到多少种不同的真实环境,以及这些环境是否在训练期间出现过

  1. 先前的工作报告了在训练期间未见过的物理环境中进行的有限试验(表 I)。VLK仅在两个此前经过扫描并用于系统训练的房间内进行评估 [15]

    TANGO 在三个房间内进行测试[11],而 ZeroWBC 和 GRAIL 报告了试验总次数,却未说明独特环境的数量 [18],[20]
  2. HALO 建立了一套更加严格的协议。作者在六个真实环境中评估六种不同的全身技能,共进行了360 次物理试验。尤为关键的是,这些空间均未在训练期间经过扫描、重建或接触过,从而确保策略能够以严格的零样本方式迁移至硬件

1.2 HALO的完整方法论

总之,HALO 将自然语言和第一人称视角视觉映射为低层关节指令,使其能够在此前未见过的真实环境中运行。它完全部署在机载系统上,无需预先重建场景、外部动作捕捉或特权对象状态。且使用多样化的程序生成合成数据进行训练

机载自主系统栈包含三层,如下图所示

  1. 在最高层,视觉语言模型(VLM)通过将自由形式的请求解析为一系列语言子任务,来规划长时程行为
  2. 作为连接语义与控制的桥梁,中层运动生成器将当前子任务和第一人称视角 RGB 图像映射为全身运动学运动规划该规划是一条持续 5 秒、频率为 30 Hz 的轨迹,每帧指定 29 个关节角度和一个相对骨盆位姿(共 36 个值)
  3. 最后,学习得到的运动跟踪器利用机载深度信息和本体感觉,在硬件上执行这条参考轨迹

1.2.1 合成数据生成

合成数据生成流程如图 3 所示,详细说明见附录 A

首先,对于动作生成

作者将每项任务分解为一系列动作片段。每个片段由文本提示、可选的航点引导以及定义物体交互的终止关键帧姿态参数化。例如,任务“坐在扶手椅上”可分解为“向前走”“转身”和“坐到椅子上”。“向前走”片段的航点引导机器人到达座椅前方,而最后一个片段则要求生成一个以目标资产为锚点的坐姿关键帧

每项任务只需编写一次这种分解,即可在所有程序化生成的环境中重复使用。完整的片段链、约束类型以及应用于片段交界处的连续性变换,详见附录A

为构建完整轨迹,作者

  1. 首先为机器人和目标资产采样有效位置,通过非完整单轮车规划器计算导航路径
  2. 随后,将文本和几何约束(航路点和关键帧)传递给KIMODO[9],这是一种运动学运动扩散模型
    KIMODO 为每个独立片段生成稠密的全身运动,随后将其拼接成一条连续的全局轨迹

    然而,由于KIMODO 完全基于运动学,其生成的轨迹可能无法在物理上实现。若不加以处理,输出可能会出现严重瑕疵,例如脚部滑动、地面穿透或不连续跳跃

    为提高物理合理性,作者为每个片段生成N 条候选轨迹,使用正向运动学几何验证器对其进行评分(检查脚部滑动、地面穿透、腾空阶段和关节限位),并保留得分最高的候选轨迹

其次,对于场景构建

为构建训练语料库,作者利用INFINIGEN[17] 以程序化方式生成 1,000 个不同的房间,涵盖三种类型(客厅、办公室和卧室),且房间尺寸和家具各不相同。与基于重建的流程 [15] 不同,该方法无需实体 3D 扫描,也无需人工标注资产。环境多样性的提升取决于计算资源,而非人力劳动

为了将任务置于场景中,作者

  1. 首先从生成的布局中提取 2D 占用栅格
  2. 随后,通过采样 SE(2) 变换候选项,将合成轨迹及其目标资产共同嵌入场景,并接受第一个能够避免运动学轨迹、资产与周围家具发生碰撞的配置

    由于每个 episode 都由随机种子和轻量级放置记录确定性地定义,因此运动生成与渲染彼此解耦:无需重新生成底层运动,即可在新分辨率下、使用不同的相机内参,或在完全不同的物理模拟器中重新渲染该语料库

最后,对于第一人称视角渲染

作者在 INFINIGEN 生成的场景中以运动学方式重放预先设定的轨迹,并通过与硬件匹配的模拟鱼眼镜头渲染第一人称视觉

  1. 为缩小视觉仿真到真实(sim-to-real)差距,作者进行了大规模域随机化,涵盖不同的色温、曝光度、对比度、运动模糊和传感器噪声(图 3C)

    由于在这种规模下进行原生路径追踪渲染的计算开销过高,作者将全局光照和阴影烘焙到逐对象的自发光纹理中。一次性预处理后,即可通过任何标准光栅化器进行交互式渲染,使该流程具备高度可扩展性,且不依赖特定模拟器
  2. 最终生成的数据集包含 300 小时的配对视频、语言和运动数据,覆盖 1,000 个环境(在后续的仿真受控实验中,采样的片段仅来自完全留出的环境,而非训练环境中的新轨迹)

1.2.2 运动生成器训练

运动生成器在合成数据上进行训练

  1. 它以第一人称视角的RGB 图像I_{t} 和语言指令\ell作为输入,并在H=150帧的预测时域内生成完整的运动学规划\hat{q}_{t+1: t+H} \in \mathbb{R}^{H \times 36}(在30Hz 下为5 秒;架构和训练细节见附录B)
  2. 每一帧\hat{q}_{\tau}=\left[\hat{\theta}_{\tau} ; \Delta \hat{p}_{\tau} ; \Delta \hat{r}_{\tau}\right]将29 个关节角与3D 骨盆平移和4D 骨盆四元数堆叠在一起;二者均相对于t 时刻的骨盆坐标系表示,因此输出不受全局位置的影响

首先,对于型架构

运动生成器采用非对称编码器-解码器结构

  1. 编码器是一个 Qwen3.5-2B 视觉语言模型(VLM)——如上图第三列 B运动生成器所示,用于将第一人称视角的 RGB 图像和自然语言指令映射为联合特征嵌入

    预训练 VLM 已具备丰富的、达到互联网规模的视觉观测与语义概念之间的对齐能力,例如“坐在椅子上”或“推箱子”
    冻结编码器既能利用这些稳健的表征,又只需进行一次前向传播,且无需为其 20 亿个参数维护优化器状态
  2. 解码器是一个从头训练的Diffusion Transformer[37](8 个块、宽度为 512、8 个注意力头)
    它以VLM 特征嵌入为输入,并生成稠密的全身运动规划
    解码器通过流匹配 [38] 进行训练,并在推理时采用 15 个 Euler 步进行采样

其次,对于异步生成

// 待更

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐