title: “HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots”
authors: “Tairan He*, Wenli Xiao*, Toru Lin, Zhengyi Luo, Zhenjia Xu, Zhenyu Jiang, Jan Kautz, Changliu Liu, Guanya Shi, Xiaolong Wang, Linxi ‘Jim’ Fan†, Yuke Zhu†”
institutions: “NVIDIA (GEAR Lab), CMU, UC Berkeley, UT Austin, UC San Diego”
arxiv: “arXiv:2410.21229v2 [cs.RO], 2025-03-06”
project: “https://hover-versatile-humanoid.github.io”
source: “8 页正文 + 参考文献,无附录、无开源代码链接”
hardware: “Unitree H1, 19-DoF, ≈51.5 kg, ≈1.8 m”


从「每种任务训一个控制器」到「一套语法覆盖所有模式」——把特权运动先验蒸馏进一个可掩码的通用策略,以及它和视频编解码器设计有多像。


1. 介绍

1.1 摘要先行

本文分析 HOVER(Humanoid Versatile Controller),NVIDIA GEAR 团队 2024 年 10 月提交、2025 年 3 月更新至 v2 的人形机器人全身控制工作。核心结论先行:

  1. 问题:导航要跟踪 root 速度,桌面操作要跟踪上半身关节角,遥操作要跟踪关键点三维位置。三者命令空间互不相容,既有做法为每种模式单独训练一个 RL 策略,导致重复训练、无法切换、上层策略被迫适配多种接口。
  2. 洞察:全身运动学运动模仿(full-body kinematic motion imitation)可以作为所有控制模式的公共抽象。一个能模仿任意人体动作的"特权教师",天然包含了平衡、协调、肢体精确控制这些被所有模式共享的运动技能。
  3. 方法:先训练 Oracle 策略(PPO,特权观测,跟踪重定向后的 AMASS 全身体数据),再用 DAgger 动作级蒸馏把教师能力压进一个学生策略;学生命令输入经过 mode mask + sparsity mask 两级二值掩码,每个 bit 独立采样自 B ( 0.5 ) \mathcal{B}(0.5) B(0.5),episode 起始采样、episode 内固定。
  4. 规模:在 19-DoF 的 Unitree H1 上支持 15 种以上实用控制模式,覆盖 ExBody、H2O、OmniH2O、HumanPlus、MHC 等前作的全部命令设计。
  5. 结果:仿真中在同一策略、四种既有模式下,每个模式至少在 12 项指标中的 7 项上优于单独训练的 specialist;相对 Multi-Mode RL 基线在 32/32(4 指标 × 8 模式)上误差更低;真机 20 段站立动作上 11/12 指标优于 specialist。ExBody 模式下全局位置误差从 275 mm 降到 185 mm(−32.7%)。

需要指出的是,本文的"通用"是命令接口层的通用,不包含自动模式选择——论文结论明确把 automated mode-switching module 列为 future work,Figure 6 的无缝切换靠外部人为指定掩码实现。这一点决定了它的能力边界,后文第 5 节会展开。

1.2 问题定义:命令空间碎片化

人形机器人是典型的"一套硬件、多种任务"。论文把既有工作的控制模式归为三类:

模式类别命令内容典型用途代表工作
Root 跟踪根速度、高度、roll/pitch/yaw导航、不平地面行走[5, 6, 19, 20]
局部关节角跟踪各电机目标角度表达性动作、影子模仿[12, 13, 1]
运动学位置跟踪关键刚体点的三维位置遥操作、loco-manipulation[9, 10, 38]

三类模式在同一个 19-DoF 硬件上跑,却各自定义了观测格式、目标格式和奖励结构。后果有三层:

  • 开发层:每加一种任务就要重跑一遍 RL 训练,包括奖励调参、域随机化、sim-to-real 验证。Table II 光是 Oracle 的奖励项就有 20 余条,权重跨 8 个数量级( 1.1 × 10 − 5 1.1\times10^{-5} 1.1×10−5 到 3 × 10 3 3\times10^{3} 3×103),复制这套工程的成本不低。
  • 接口层:预训练的操作策略 [15, 16] 可能输出关节角,也可能输出末端位姿;控制器接口不统一,上层必须为每个下层控制器写适配层。
  • 运行层:一台机器人在不平地面用 root 速度模式走着,下一秒要切换到需要精确双手操作的任务,两个策略之间没有任何连续过渡的保证。状态分布不同、价值函数不同,直接换策略等于把系统扔进一个从未训练过的初始状态。

论文的第一句关键判断是:尽管控制接口不同,底层运动目标往往一致——稳定、类人的全身运动。这句话是整篇工作的支点。只要存在一个策略能产生"稳定且类人"的运动,那么任何一种命令模式都只是对这个策略的部分观测约束。

1.3 为什么"直接把三种命令拼起来"不成立

直觉方案是把三类命令串成一个大向量,训一个条件策略。论文没有走这条路,原因在第 2.2 节的 Atomicity 判据里可以反推:

  • 不同命令的维度、量纲、坐标系不同:关节角是 rad、关键点位置是 m、root 速度是 m/s,直接拼接后奖励加权与归一化尺度难以统一;
  • 不同命令存在信息冗余与冲突:给定全部关节角,通过正运动学就能算出所有关键点位置;同时给两者等于给网络一个需要自行学会一致性的冗余约束;
  • 更重要的是缺失语义:某个任务下"只给左手位置"和"给零向量"必须被明确区分。没有掩码,网络无法判断某个分量是「真值为零」还是「本模式不提供」。

HOVER 的解法是把"提供哪些命令"本身编码成显式二值掩码,与命令值一起送进策略。这实际上是把控制模式从网络结构问题变成了输入语法问题。

1.4 与视频编解码设计的同构性

对熟悉 H.264/AV1/VVC 的读者,这里有一个几乎一一对应的结构,后文会反复用到:

  • 标准不会为 intra、inter、skip、affine 各写一套独立解码器,而是定义一套码流语法 + 一组预测模式标志位,解码器按标志位选择重建路径;HOVER 用 mode/sparsity mask 做同一件事。
  • 编码端能看原始像素,解码端只有已重建像素——编码端/解码端信息不对称;Oracle 能看全部刚体位姿与线/角速度(privileged proprioception),学生只有关节角、角速度、重力向量和动作历史。
  • 解码器靠 DPB(Decoded Picture Buffer)里的参考帧补回编码端没传的信息;学生靠堆叠 25 步历史隐式估计被掩码掉的状态。

这个类比不是修辞,它能给出可检验的预测:命令越稀疏,学生就越依赖历史缓冲做"时间外推";而只给 root 速度、不给绝对位置的模式,会因为积分漂移在全局位置指标上吃亏。第 7.3 节的数据恰好验证了这两点。当然类比有边界,第 2.8 节会明确划出来。

1.5 本文组织

第 2 节按模块拆原理;第 3 节给出全部关键公式与符号;第 4 节用 ASCII 图与表格还原 Figure 1/2 及命令空间矩阵;第 5 节是范式级与工程级踩坑点(含论文表格与正文结论的若干处不一致);第 6 节在无官方源码的前提下按 Section II 重建伪代码与超参数表;第 7 节汇总全部定量结果并做二次分析;第 8 节给结论与开放问题。


2. 原理

2.1 两阶段总体架构

HOVER 是标准的 teacher–student 两阶段流水线,中间用一层掩码做"模式注入":

阶段 A  ── Oracle 训练(RL / PPO,特权观测,全身体运动模仿)
           输入:s^p-oracle(全部刚体位姿/速度)+ s^g-oracle(下一帧完整参考)
           输出:a_t ∈ R^19(PD 目标关节位置)
           监督:Table II 的 20+ 项奖励 + AMASS 重定向数据集 Q̂

阶段 B  ── HOVER 蒸馏(DAgger / 监督学习,可部署观测)
           输入:s^p-student(关节传感 + 25 步历史)+ M ⊙ s^g-student(掩码命令)
           输出:a_t ∈ R^19
           监督:L = ‖â_t − a_t‖²,â_t 来自同一时刻 Oracle 的查询

关键设计在于阶段 B 完全不碰奖励。学生只做动作回归,误差信号来自教师,而不是环境回报。这带来两个直接后果:

  1. 蒸馏阶段不需要为 15+ 种模式分别设计奖励。奖励工程的复杂度被封在阶段 A 一次性付清。
  2. 学生学的是"教师在这个状态下会怎么动",而不是"怎样把某个稀疏指标的折扣回报最大化"。前者是稠密、低方差、逐帧的监督信号;后者是稀疏、高方差、需要信用分配的信号。第 7.5 节中 HOVER 对 Multi-Mode RL 的 32/32 全胜,主要来自这个差别。

2.2 命令空间:Generality 与 Atomicity

论文给出两条设计判据,值得逐条看:

Generality(通用性):命令空间要覆盖既有配置,使通用控制器能替换专用控制器而不掉性能;同时要能对接真实输入设备——Figure 1 左侧列了 VR 头显、RGB 相机、外骨骼、机械臂主控、MoCap、手柄六类。这实际上是要求命令空间成为设备无关的中间表示:任何前端只要能产出「关键点三维位置 / 关节角 / root 六维量」中的某个子集,就能接入。

Atomicity(原子性):命令维度彼此独立,可任意组合。这条是掩码机制成立的数学前提——如果维度之间存在硬耦合(比如某个关键点位置必须由某组关节角决定),那么任意子集采样会产生物理上不可实现的命令组合。

最终命令空间由 2 个区域 × 3 类命令构成:

类别内容记为
Kinematic Position Tracking关键刚体点的目标三维位置(torso、head、左右 ankle、左右 hand、肩、肘等) s g -kin s^{g\text{-kin}} sg-kin
Local Joint Angle Tracking每个电机的目标角度(Motor-0 … Motor-18,共 19 维) s g -joint s^{g\text{-joint}} sg-joint
Root Tracking目标 root 速度、高度、roll、pitch、yaw s g -root s^{g\text{-root}} sg-root

上半身与下半身各自独立施加掩码。这个「上下半身解耦」不是随意切的:ExBody 模式正是上半身给关节角、下半身给 root 速度;H2O 模式是上半身给 6 个关键点、下半身给 2 个 ankle 点。不解耦就无法把这两种模式表达成同一向量的不同子集。

Table I 的覆盖关系(✓ 表示支持):

控制器多模式上半身-位置上半身-关节角下半身-位置下半身-关节角Root
ExBody [12]✗✗✓✗✗✓
H2O [10]✗✓✗✓✗✗
OmniH2O [9]✗✓✗✗✗✗
HumanPlus [13]✗✗✓✗✓✓
MHC [21]✓✗✓✗✓✓
HOVER✓✓✓✓✓✓

由此可得:既有工作都是这个统一空间在特定掩码下的子集。MHC 虽支持多模式,但只覆盖关节角与 root 两类,且不支持任意子集选择。HOVER 的新增价值不在"又多了一种模式",而在把模式本身变成可采样的输入变量。

2.3 动作重定向:AMASS → Q ^ \hat{Q} Q^​

教师的数据来自 AMASS [17]。人体骨架与 19-DoF 的 H1 拓扑、连杆长度、关节限位都不同,直接把 SMPL 关节角灌给机器人会得到大量物理不可行的动作。论文沿用 H2O [10] 的三步重定向:

  • Step-1:用正运动学从机器人关节配置算出各关键点在工作空间中的位置。
  • Step-2:优化 SMPL 参数,使 SMPL 模型的关键点对齐 Step-1 算出的机器人关键点。这一步等价于求一个「人体骨架 → 机器人骨架」的形状/姿态映射。
  • Step-3:在拟合后的 SMPL 与机器人之间做对应关键点匹配,用梯度下降把 AMASS 序列重定向为机器人关节序列。

随后执行 “sim-to-data” 过滤:把重定向结果放进仿真里跑一遍,只保留机器人能物理完成的轨迹,得到 Q ^ \hat{Q} Q^​。这一步非常重要——它把「模仿人体动作」的不良设定(大量不可行动作)提前剪掉,否则 Oracle 的 RL 会在不可行目标上浪费大量样本,甚至学会用倒地来最小化姿态误差。论文在实验里用 Q ^ \hat{Q} Q^​ 同时作为训练集与评测集,这一点在第 5 节会讨论其统计含义。

2.4 Oracle 策略:把运动先验集中在一个模型里

Oracle 是一个目标条件 RL 策略 π oracle ( a t ∣ s t p -oracle , s t g -oracle ) \pi_{\text{oracle}}(a_t \mid s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) πoracle​(at​∣stp-oracle​,stg-oracle​),训练目标是逐帧跟踪实时人体动作。

观测是特权的: s t p -oracle s_t^{p\text{-oracle}} stp-oracle​ 包含人形机器人所有刚体的位置 p t p_t pt​、朝向 θ t \theta_t θt​、线速度 p ˙ t \dot p_t p˙​t​、角速度 ω t \omega_t ωt​,以及上一步动作 a t − 1 a_{t-1} at−1​。这些量在仿真里可以精确读取,真机上要么没有传感器、要么噪声大、要么需要状态估计器。 s t g -oracle s_t^{g\text{-oracle}} stg-oracle​ 则包含完整参考姿态 ( θ ^ t , p ^ t ) (\hat\theta_t, \hat p_t) (θ^t​,p^​t​) 以及参考与当前状态在所有刚体上的单帧差分。也就是说,教师拿到的是"当前全身状态 + 下一帧全身目标 + 二者残差"——信息量接近无损参考帧。

动作是 PD 目标关节位置: a t ∈ R 19 a_t \in \mathbb{R}^{19} at​∈R19,送进 PD 控制器驱动 19 个自由度。注意这里不是力矩控制,也不是直接设关节角;策略只输出目标位置,由底层 PD 伺服吸收动力学。这个分层把"高频稳定"交给确定性控制器,RL 只需学目标轨迹,是近年人形控制的标准做法。

网络与优化:三层 MLP,隐层 [ 512 , 256 , 128 ] [512, 256, 128] [512,256,128],PPO [18],最大化 E [ ∑ t = 1 T γ t − 1 r t ] \mathbb{E}[\sum_{t=1}^{T}\gamma^{t-1}r_t] E[∑t=1T​γt−1rt​]。论文明确说明网络结构与域随机化沿用 OmniH2O [9],未在本文重复给出超参数。

奖励分三类(Table II,完整数值见第 6.6 节):penalty(力矩越限、关节位置/速度越限、termination)、regularization(关节加速度、动作变化率、脚部姿态/接触力/打滑/腾空、步高上限)、task reward(关节位置/速度、body 位置/旋转/线速度/角速度、root 速度/旋转)。其中 Feet air time 权重 + 1 × 10 3 +1\times10^3 +1×103 是唯一正值,其余 regularization 与 penalty 全为负——步态节奏先验实际上是通过这一项硬编码进教师的。

由此可得教师的定位:它不是"某个任务的策略",而是一个带完整状态观测的运动先验发生器。所有下游模式共享的物理知识(保持平衡、类人协调、精确肢体控制)都压在这个网络的权重里。

2.5 学生策略:观测降级 + 25 步历史

学生 π student ( s t p -student , s t g -student ) \pi_{\text{student}}(s_t^{p\text{-student}}, s_t^{g\text{-student}}) πstudent​(stp-student​,stg-student​) 的本体观测被严格限制为真机可得量:

s t p -student ≜ [ q ,   q ˙ ,   ω base ,   g ] t − 25 : t ∪ [ a t − 25 : t − 1 ] s_t^{p\text{-student}} \triangleq [q,\ \dot q,\ \omega_{\text{base}},\ g]_{t-25:t} \cup [a_{t-25:t-1}] stp-student​≜[q, q˙​, ωbase​, g]t−25:t​∪[at−25:t−1​]

即关节位置 q q q、关节速度 q ˙ \dot q q˙​、基座角速度 ω base \omega_{\text{base}} ωbase​、重力向量 g g g,以及动作历史,连续堆叠最近 25 步。注意这里没有全局位置、没有全局线速度、没有各刚体位姿——真机上这些量需要里程计或外部 MoCap,不可靠。

25 步历史承担的功能值得单独说。教师判断"下一步该动哪个关节"时依赖的是完整的刚体位姿和速度;学生看不到这些,只能从 25 步的关节角、角速度、重力方向和自己过去发出的动作里,隐式推断当前的基座姿态、接触状态、质心速度。这本质上是一个在网络隐状态里实现的隐式状态估计器,或者说一阶以上的时间外推。把它和解码器用 DPB 中的参考帧做运动补偿对照,机制上是一致的:都是用已重建的历史补回未被传输的当前状态信息。

代价是推理输入维度被放大 25 倍,且策略对历史窗口的时序对齐极其敏感——任何部署侧的丢帧、时间戳抖动、控制频率偏差都会让历史缓冲与训练分布错开。第 5 节会把它列为 sim-to-real 的主要工程风险之一。

2.6 两级掩码:mode mask 与 sparsity mask

学生的命令输入定义为:

s t g -student ≜ M sparsity ⊙ [   M mode ⊙ s t g -upper ,   M mode ⊙ s t g -lower   ] s_t^{g\text{-student}} \triangleq M_{\text{sparsity}} \odot \big[\,M_{\text{mode}}\odot s_t^{g\text{-upper}},\ M_{\text{mode}}\odot s_t^{g\text{-lower}}\,\big] stg-student​≜Msparsity​⊙[Mmode​⊙stg-upper​, Mmode​⊙stg-lower​]

两级掩码职责不同:

  • M mode M_{\text{mode}} Mmode​(模式掩码):在上下半身上独立选择命令类别。上半身可以选运动学位置,下半身同时选关节角 + root。这一步决定"这个模式属于三大类中的哪一类组合"。
  • M sparsity M_{\text{sparsity}} Msparsity​(稀疏掩码):在已选类别内部进一步选择具体维度。例如上半身只跟踪左右手的关键点位置,下半身只跟踪 torso 的关节角。用它表达 H2O(8 个关键点)、OmniH2O(head + 双手 3 个点)、left-hand-only(1 个点)这类关键点稀疏度差异。

每个 bit 独立采样自 Bernoulli B ( 0.5 ) \mathcal{B}(0.5) B(0.5),在 episode 开始时采样、整个 episode 内保持固定。这个"episode 内固定"是必要设计:如果逐帧随机换掩码,策略观测到的命令会变成高频跳变,既不符合真实遥操作场景(一个操作会话里输入设备是固定的),也会让网络学会忽略命令、只靠历史外推。

从组合数看:设完整命令向量维度为 D D D, B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 的稀疏掩码理论上覆盖 2 D 2^{D} 2D 种子集。即便只算论文列出的固定模式也有 15+ 种(ExBody、HumanPlus、H2O、OmniH2O,加上 left-hand / right-hand / two-hands / head / root-pitch / full-body-kinematics 等)。训练时不可能枚举全部组合, B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 随机采样配合 episode 级随机化,本质上是对模式分布做重要性未知的蒙特卡洛覆盖——这也解释了为什么稀疏模式的收益并不均匀(第 7.4 节)。

2.7 DAgger 蒸馏:为什么是 on-policy 的动作回归

蒸馏采用 DAgger [22] 而非一次性行为克隆:

  1. 每个 episode rollout 学生策略,得到轨迹 ( s t p -student , s t g -student ) (s_t^{p\text{-student}}, s_t^{g\text{-student}}) (stp-student​,stg-student​)——注意数据来自学生的状态分布,不是教师的;
  2. 每个时间步,用仿真器的特权信息同步算出对应的 Oracle 状态 ( s t p -oracle , s t g -oracle ) (s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) (stp-oracle​,stg-oracle​);
  3. 查询教师得到参考动作 a ^ t = π oracle ( s t p -oracle , s t g -oracle ) \hat a_t = \pi_{\text{oracle}}(s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) a^t​=πoracle​(stp-oracle​,stg-oracle​);
  4. 以 L = ∥ a ^ t − a t ∥ 2 2 \mathcal{L} = \|\hat a_t - a_t\|_2^2 L=∥a^t​−at​∥22​ 更新学生。

第 1 步是 DAgger 的灵魂。若只在教师轨迹上做行为克隆,学生一旦因微小误差偏离教师状态分布,就会进入没有标注的区域并持续漂移(协变量偏移)。DAgger 让学生在自己会访问的状态上反复获取教师标注,把分布 mismatch 在线纠正回来。这里有一个巧妙之处:教师查询用的是与学生同一时刻、同一物理状态的特权观测,所以 a ^ t \hat a_t a^t​ 是"如果教师处在我现在这个状态,它会怎么做",而不是"教师在自己轨迹上的历史动作"。后者在状态已经偏离时是错误的监督目标。

另外要区分两种"通用"路线:Multi-Mode RL 基线用同样的掩码机制,但从零用 RL 目标训练。它没有教师,必须靠一个随模式变化的稀疏奖励自己发现"什么是稳定类人的运动"。HOVER 则把这部分知识作为监督信号直接注入。第 7.5 节的 32/32 结果说明,在同等掩码设计下,监督信号的来源才是决定性变量,掩码本身不是。

2.8 从编解码器视角重读整套设计

把上面的模块平移到码流设计,可以得到一张相当整齐的对照表:

视频编解码HOVER说明
编码端可见原始像素Oracle 的 privileged proprioception信息优势只在训练/离线侧存在
解码端仅可见重建像素Student 的 proprioception部署侧观测受限
DPB 参考帧缓冲25 步历史堆叠 [ q , q ˙ , ω , g ] t − 25 : t [q,\dot q,\omega,g]_{t-25:t} [q,q˙​,ω,g]t−25:t​用历史补回未传输的状态
预测模式标志位 / CU 划分 M mode M_{\text{mode}} Mmode​、 M sparsity M_{\text{sparsity}} Msparsity​模式作为输入语法,不是独立模型
一套语法支持多种预测模式一个网络支持 15+ 控制模式避免 N 套 codec / N 套策略
提供绝对位置还是仅 MVroot 位置跟踪 vs root 速度跟踪后者存在积分漂移
教师强制 / 参考帧监督DAgger 的 a ^ t \hat a_t a^t​ 硬标签稠密逐帧监督,低方差
码率 R ↔ 失真 D 折衷命令稀疏度 ↔ 跟踪误差一个策略覆盖整条 R-D 曲线族

由此可以推出两个可检验的判断,而论文数据确实支持:

判断一:全局位置误差 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ 对命令稀疏度远比局部 MPJPE E mpjpe E_{\text{mpjpe}} Empjpe​ 敏感。原因是局部姿态可以由 25 步历史很好地外推,而全局平移没有绝对锚点时会累积漂移。数据:H2O 模式(跟踪 ankle 三维位置,锚定全局)HOVER 的 E g -mpjpe = 121 E_{g\text{-mpjpe}}=121 Eg-mpjpe​=121 mm,几乎贴上 Oracle 上界 119 mm;ExBody 模式(只给 root 速度)则是 185 mm,比上界高 55.5%。两者的 E mpjpe E_{\text{mpjpe}} Empjpe​ 却分别是 60.6 与 63.9 mm,差距不到 6%。

判断二:只给 root 速度相当于只传运动矢量不给绝对坐标,长时域积分必然漂移。ExBody 与 HumanPlus 两种含 root-velocity 的模式, E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ 分别是 185、182 mm;而含关键点绝对位置的 H2O、OmniH2O 是 121、128 mm。差距在 40% 以上,且这一规律在 specialist 上也成立(275/266 vs 137/149),说明它是命令空间的信息性质决定的,不是蒸馏方法引入的。

类比边界必须说清楚,否则会误导:编解码器有精确的重建目标和可解析的 R-D 优化,HOVER 的"失真"是动作回归误差,与最终任务成功率之间隔着 PD 伺服、接触动力学和执行器延迟;码流的模式标志位由编码器显式优化选择,HOVER 的掩码由外部在 episode 起始给定,网络不参与选择。把 HOVER 说成"自动学会了模式调度"是错的。


3. 公式

本节汇总论文给出的全部关键公式,并补充两组为便于工程理解而做的形式化推演(会明确标注)。

3.1 目标条件 RL 的优化目标

策略 π \pi π 的状态由本体观测与目标状态组成:

s t = [ s t p ,   s t g ] , r t = R ( s t p ,   s t g ) , a t ∈ R 19 s_t = \big[s_t^{p},\ s_t^{g}\big], \qquad r_t = R\big(s_t^{p},\ s_t^{g}\big), \qquad a_t \in \mathbb{R}^{19} st​=[stp​, stg​],rt​=R(stp​, stg​),at​∈R19

PPO 最大化累计折扣回报:

J ( π ) = E τ ∼ π [ ∑ t = 1 T γ t − 1 r t ] , π ∗ = arg ⁡ max ⁡ π J ( π ) J(\pi) = \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=1}^{T} \gamma^{t-1} r_t\right], \qquad \pi^* = \arg\max_{\pi} J(\pi) J(π)=Eτ∼π​[t=1∑T​γt−1rt​],π∗=argπmax​J(π)

符号: T T T 为 episode 长度, γ ∈ ( 0 , 1 ) \gamma \in (0,1) γ∈(0,1) 为折扣因子, r t r_t rt​ 为逐帧奖励, a t a_t at​ 的 19 维对应 H1 的 19 个关节目标位置。论文未给出 γ \gamma γ、 T T T 的具体数值。

3.2 Oracle 的状态构造

特权本体观测:

s t p -oracle ≜ [   p t ,   θ t ,   p ˙ t ,   ω t ,   a t − 1   ] s_t^{p\text{-oracle}} \triangleq \big[\,p_t,\ \theta_t,\ \dot p_t,\ \omega_t,\ a_{t-1}\,\big] stp-oracle​≜[pt​, θt​, p˙​t​, ωt​, at−1​]

  • p t p_t pt​:所有刚体的位置; θ t \theta_t θt​:所有刚体的朝向(四元数或等价旋转表示);
  • p ˙ t \dot p_t p˙​t​、 ω t \omega_t ωt​:线速度、角速度;
  • a t − 1 a_{t-1} at−1​:上一时刻动作。

目标状态(含参考姿态与单帧差分):

s t g -oracle ≜ [   θ ^ t + 1 ⊖ θ t ,    p ^ t + 1 − p t ,    v ^ t + 1 − v t ,    ω ^ t + 1 − ω t ,    θ ^ t ,    p ^ t   ] s_t^{g\text{-oracle}} \triangleq \big[\,\hat\theta_{t+1} \ominus \theta_t,\ \ \hat p_{t+1} - p_t,\ \ \hat v_{t+1} - v_t,\ \ \hat\omega_{t+1} - \omega_t,\ \ \hat\theta_t,\ \ \hat p_t\,\big] stg-oracle​≜[θ^t+1​⊖θt​,  p^​t+1​−pt​,  v^t+1​−vt​,  ω^t+1​−ωt​,  θ^t​,  p^​t​]

  • ⊖ \ominus ⊖ 表示旋转流形上的相对旋转(不是欧氏减法,四元数需用 θ ^ ⋅ θ − 1 \hat\theta \cdot \theta^{-1} θ^⋅θ−1 之类形式);
  • 带帽 ⋅ ^ \hat{\cdot} ⋅^ 为参考(重定向后的 Q ^ \hat Q Q^​ 轨迹);
  • 前四项是「下一帧参考 − 当前状态」的残差,后两项是参考姿态本身。

值得强调的是这个"绝对值 + 残差"双份设计:残差项直接给出跟踪误差的方向,等价于给网络预先算好了一阶误差信号;绝对值项保留全局构型信息,避免仅靠残差无法区分不同姿态。用编解码的话说,就是同时传了残差和参考帧本身。

3.3 Oracle 奖励的分解

r t = r t pen + r t reg + r t task = ∑ i w i pen ϕ i ( s t ) + ∑ j w j reg ψ j ( s t ) + ∑ k w k task φ k ( s t ) r_t = r_t^{\text{pen}} + r_t^{\text{reg}} + r_t^{\text{task}} = \sum_i w_i^{\text{pen}}\phi_i(s_t) + \sum_j w_j^{\text{reg}}\psi_j(s_t) + \sum_k w_k^{\text{task}}\varphi_k(s_t) rt​=rtpen​+rtreg​+rttask​=i∑​wipen​ϕi​(st​)+j∑​wjreg​ψj​(st​)+k∑​wktask​φk​(st​)

Table II 给出全部权重,量级跨度极大:最小 ∣ ω ∣ = 1.1 × 10 − 5 |\omega|=1.1\times10^{-5} ∣ω∣=1.1×10−5(DoF acceleration),最大 3 × 10 3 3\times10^{3} 3×103(Max feet height per step,负)。这类奖励的典型实现是 task reward 用指数核 exp ⁡ ( − σ ⋅ e ) \exp(-\sigma \cdot e) exp(−σ⋅e) 把误差映射到 ( 0 , 1 ] (0,1] (0,1],penalty 与 regularization 直接用二次项或指示函数再乘权重;否则跨 8 个数量级的项直接相加会被最大项主导。论文未写明核函数形式,此处为按其权重结构给出的工程推断。

3.4 学生观测与两级掩码

学生本体观测(25 步历史):

s t p -student ≜ [   q ,   q ˙ ,   ω base ,   g   ] t − 25 : t   ∪   [   a t − 25 : t − 1   ] s_t^{p\text{-student}} \triangleq \big[\,q,\ \dot q,\ \omega_{\text{base}},\ g\,\big]_{t-25:t} \ \cup\ \big[\,a_{t-25:t-1}\,\big] stp-student​≜[q, q˙​, ωbase​, g]t−25:t​ ∪ [at−25:t−1​]

学生命令输入:

s t g -student ≜ M sparsity ⊙ [   M mode ⊙ s t g -upper ,    M mode ⊙ s t g -lower   ] s_t^{g\text{-student}} \triangleq M_{\text{sparsity}} \odot \Big[\, M_{\text{mode}} \odot s_t^{g\text{-upper}},\ \ M_{\text{mode}} \odot s_t^{g\text{-lower}} \,\Big] stg-student​≜Msparsity​⊙[Mmode​⊙stg-upper​,  Mmode​⊙stg-lower​]

掩码元素的采样规则:

m i ∼ B ( 0.5 ) , i = 1 , … , D ; M ( t ) ≡ M ( t 0 ) ,    ∀   t ∈ [ t 0 ,   t 0 + T ] m_i \sim \mathcal{B}(0.5),\quad i = 1,\dots,D; \qquad M(t) \equiv M(t_0),\ \ \forall\, t \in [t_0,\, t_0+T] mi​∼B(0.5),i=1,…,D;M(t)≡M(t0​),  ∀t∈[t0​,t0​+T]

即每个 bit 独立伯努利采样,episode 内恒定。 ⊙ \odot ⊙ 为逐元素乘(Hadamard 积),被遮掉的分量置零。

一个必须显式处理的细节:掩码为 0 的位置既可能是"该模式不提供此命令",也可能是"提供的目标值恰好为 0"。若只把命令向量送进去而不送掩码本身,网络无法区分二者。论文 Figure 1/2 把 Kinematic Masks / Joint Masks / Root Masks 画成与命令并列的三组虚线框,说明掩码是作为输入的一部分送入策略的,而不只是对命令做预处理。用编解码术语说:模式标志位必须写进码流,不能只体现在残差数值上。

3.5 DAgger 蒸馏损失与数据聚合

每个时间步查询教师并回归:

a ^ t = π oracle ( s t p -oracle ,   s t g -oracle ) , L = ∥ a ^ t − a t ∥ 2 2 = ∑ d = 1 19 ( a ^ t , d − a t , d ) 2 \hat a_t = \pi_{\text{oracle}}\big(s_t^{p\text{-oracle}},\ s_t^{g\text{-oracle}}\big), \qquad \mathcal{L} = \big\|\hat a_t - a_t\big\|_2^2 = \sum_{d=1}^{19}\big(\hat a_{t,d} - a_{t,d}\big)^2 a^t​=πoracle​(stp-oracle​, stg-oracle​),L= ​a^t​−at​ ​22​=d=1∑19​(a^t,d​−at,d​)2

数据集按 DAgger 迭代聚合:

D k + 1 = D k ∪ { ( s t p -student ,   s t g -student ,   a ^ t )   ∣   τ ∼ π student ( k ) } , θ k + 1 = arg ⁡ min ⁡ θ E ( s , a ^ ) ∼ D k + 1 [ L ] \mathcal{D}_{k+1} = \mathcal{D}_k \cup \Big\{ \big(s_t^{p\text{-student}},\ s_t^{g\text{-student}},\ \hat a_t\big) \ \Big|\ \tau \sim \pi_{\text{student}}^{(k)} \Big\}, \qquad \theta_{k+1} = \arg\min_\theta \mathbb{E}_{(s,\hat a)\sim\mathcal{D}_{k+1}}\big[\mathcal{L}\big] Dk+1​=Dk​∪{(stp-student​, stg-student​, a^t​)  ​ τ∼πstudent(k)​},θk+1​=argθmin​E(s,a^)∼Dk+1​​[L]

把掩码的随机性写开(本文为便于理解做的等价展开,非论文原式),整体优化目标可写成对模式分布的期望:

min ⁡ θ   E M ∼ B ( 0.5 ) D   E τ ∼ π θ ( ⋅ ∣ M )   E t   ∥ π oracle ( s t p -oracle , s t g -oracle ) − π θ ( s t p -student ,   M ⊙ s t g ) ∥ 2 2 \min_\theta\ \mathbb{E}_{M \sim \mathcal{B}(0.5)^D}\ \mathbb{E}_{\tau \sim \pi_\theta(\cdot \mid M)}\ \mathbb{E}_{t}\ \Big\| \pi_{\text{oracle}}\big(s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}\big) - \pi_\theta\big(s_t^{p\text{-student}},\, M \odot s_t^{g}\big) \Big\|_2^2 θmin​ EM∼B(0.5)D​ Eτ∼πθ​(⋅∣M)​ Et​  ​πoracle​(stp-oracle​,stg-oracle​)−πθ​(stp-student​,M⊙stg​) ​22​

这个形式清楚暴露了两处依赖: π θ \pi_\theta πθ​ 同时出现在采样分布和优化变量里(on-policy 依赖),而教师的查询状态与学生状态来自同一物理时刻但不同观测空间(信息不对称)。

3.6 评价指标

论文在仿真中报告 12 项指标,定义如下( J J J 为关键点集合, ⋅ ^ \hat{\cdot} ⋅^ 为参考):

E mpjpe = 1 ∣ J ∣ ∑ j ∈ J ∥ p ^ j root-rel − p j root-rel ∥ 2 ( mm ) E_{\text{mpjpe}} = \frac{1}{|J|}\sum_{j\in J}\big\| \hat p_j^{\text{root-rel}} - p_j^{\text{root-rel}} \big\|_2 \quad (\text{mm}) Empjpe​=∣J∣1​j∈J∑​ ​p^​jroot-rel​−pjroot-rel​ ​2​(mm)

E g -mpjpe = 1 ∣ J ∣ ∑ j ∈ J ∥ p ^ j global − p j global ∥ 2 ( mm ) E_{g\text{-mpjpe}} = \frac{1}{|J|}\sum_{j\in J}\big\| \hat p_j^{\text{global}} - p_j^{\text{global}} \big\|_2 \quad (\text{mm}) Eg-mpjpe​=∣J∣1​j∈J∑​ ​p^​jglobal​−pjglobal​ ​2​(mm)

  • E mpjpe E_{\text{mpjpe}} Empjpe​ 是 root-relative,把根平移扣掉后再算,衡量"姿态像不像";
  • E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ 在全局坐标系算,包含根的整体漂移,衡量"位置准不准"。

其余指标: E upper-j E_{\text{upper-j}} Eupper-j​、 E lower-j E_{\text{lower-j}} Elower-j​ 为上下半身关节角误差(rad); E root-vel E_{\text{root-vel}} Eroot-vel​ 为根速度误差(m/s); E root-h E_{\text{root-h}} Eroot-h​ 为根高度误差; E root-r E_{\text{root-r}} Eroot-r​、 E root-p E_{\text{root-p}} Eroot-p​、 E root-y E_{\text{root-y}} Eroot-y​ 为 roll/pitch/yaw 三分量误差(rad); E acc E_{\text{acc}} Eacc​ 为平均关节加速度误差(mm/frame²); E vel E_{\text{vel}} Evel​ 为速度误差(mm/frame)。Survive 为存活率,episode 在机器人以脚以外的部位触地时终止。

Table V 真机表里用的是合并指标 E root-rpy E_{\text{root-rpy}} Eroot-rpy​,与 Table III 的三个分量不是同一个量,跨表比较时不能混用。

3.7 Figure 4 的归一化

论文把雷达图上的跟踪误差缩放为:

E ~ ( ⋅ ) = E max ⁡ − E ( ⋅ ) E max ⁡ − E min ⁡ \tilde E(\cdot) = \frac{E_{\max} - E(\cdot)}{E_{\max} - E_{\min}} E~(⋅)=Emax​−Emin​Emax​−E(⋅)​

误差越小 E ~ \tilde E E~ 越大,因此"雷达网面积越大越好"。 E max ⁡ E_{\max} Emax​、 E min ⁡ E_{\min} Emin​ 的具体取法(在两种方法间取、在八个模式间取、还是全局取)论文没有说明。这个归一化会把微小的绝对差异放大成显眼的视觉差距,第 5 节会把它列为读图陷阱。

3.8 底层 PD 伺服

论文只说明 a t a_t at​ 是"target joint positions fed into the PD controller"。按标准位置伺服形式(通用形式,非论文给出的公式):

τ t = K p ( a t − q t ) − K d   q ˙ t \tau_t = K_p \big(a_t - q_t\big) - K_d\,\dot q_t τt​=Kp​(at​−qt​)−Kd​q˙​t​

K p K_p Kp​、 K d K_d Kd​ 为对角增益矩阵,PD 以固定高频运行,RL/策略以较低频率输出目标位置。论文未给出增益、控制频率与策略频率,这是复现时最直接的空白之一。


4. 图示

4.1 Figure 1 还原:统一命令空间系统总览

  ┌──────────────────── Versatile Control Interface ────────────────────┐
  │   VR   │   RGB   │  Exoskeleton  │  Robot Arm  │  MoCap  │ Joysticks │
  └───────────────────────────┬─────────────────────────────────────────┘
                              │  (设备无关的中间表示)
        Head-Hand  │ Whole-Body │ Whole-Body │ Upper-Body │ Root
          Poses    │   Poses    │   Joints   │   Joints   │ Commands
                              ▼
  ╔══════════════════ Versatile Multi-Mode Command Space ══════════════════╗
  ║  [蓝] Kinematic Position Tracking                       Kinematic Masks ║
  ║       Torso pos │ Head pos │ L/R ankle pos │ L/R hand │ shoulder │ elbow║
  ║  [黄] Local Joint Angle Tracking                            Joint Masks ║
  ║       Motor-0 angle … Motor-18 angle  (19-DoF)                         ║
  ║  [紫] Root Tracking                                         Root Masks ║
  ║       target root velocity │ height │ pitch │ yaw │ roll              ║
  ╚═══════════════════════════════┬═════════════════════════════════════╝
                                  ▼   s^p-student + (M ⊙ s^g-student)
                   ┌───────────────────────────────────┐
                   │  Humanoid Versatile Controller    │
                   │           (HOVER)                 │
                   │   3-layer MLP  →  a_t ∈ R^19      │
                   └───────────────┬───────────────────┘
                                   ▼  PD 位置伺服
                     [ 19-DoF Unitree H1 · 51.5 kg · 1.8 m ]

三组虚线框掩码与命令并列输入,是整套设计的语法层:高亮框表示当前激活的命令,掩码决定选择性激活哪些子空间。

4.2 Figure 2 还原:蒸馏流水线

   Retargeted Motion Dataset Q̂
             │
             │  full reference motion (所有刚体、所有帧)
             ▼
   ┌──────────────────────── Goal State s^g ─────────────────────────┐
   │  Body Keypoints │ Upper/Lower-Body │ Motor Joint │ Root         │
   │  Tracking Goal  │ Tracking Goal    │ Tracking Goal│ Tracking Goal│
   └───────┬──────────────────┬──────────────────┬──────────┬────────┘
           │                  │                  │          │
           ▼  Mode Mask       ▼  Mode Mask       ▼          ▼
      [ 二分之一比特独立采样 B(0.5),episode 起始固定 ]
           │                  │                  │          │
           ▼  Sparsity Mask(再抽一次 B(0.5))             │
           │                                                │
     ┌─────┴───────────────┐                              │
     │                     │                              │
     ▼                     ▼                              ▼
┌─────────────┐     ┌──────────────────────────────────────────┐
│ HOVER Policy│     │            Oracle Policy                    │
│  (student)  │     │  输入 = Privileged Proprioception           │
│  输入 =     │     │        + 完整 s^g-oracle                    │
│  Proprio-   │     │  训练 = PPO + Table II 奖励                 │
│  ception    │     └───────────────────┬──────────────────────┘
│  (25 步历史)│                         │  â_t
└──────┬──────┘                         │
       │  a_t                          │
       │      Supervised Learning:  L = ‖â_t − a_t‖²  (DAgger)
       └──────────────◄───────────────┘
       │
       ▼   Sim-to-Real Proprioception(真机部署)

注意 Oracle 分支始终使用完整目标状态,掩码只作用于学生分支。教师从不知道"当前是哪种模式"——它只是在模仿完整动作。把模式知识全部隔离在学生侧,是这套蒸馏能扩展到任意新掩码组合的前提。

4.3 命令模式与掩码配置表

按论文 Section III 列出的模式,把掩码配置显式写出来( ✓ \checkmark ✓ = 该子空间激活):

模式上半身下半身关键点数来源
ExBody关节角root—[12]
HumanPlus关节角关节角 + root—[13]
H2O6 关键点(双手/双肩/双肘)2 关键点(双踝)8[10]
OmniH2O3 关键点(头 + 双手)无3[9]
Left Hand左手 1 点无1本文新增
Right Hand右手 1 点无1本文新增
Two Hands双手 2 点无2本文新增
Head头 1 点无1本文新增
Upper-Body Joint上半身关节角无—真机 Figure 5
Root Pitchroot pitch无—真机 Figure 5
Full-Body Kinematics全身关键点全身关键点全量真机 Figure 5

Figure 6 的两次运行中切换:(a) ExBody → H2O(前进行走),(b) HumanPlus → OmniH2O(转身 + 后退),© 三点 VR 遥操作 Two-Hands → Head → Left-Hand。这些都是外部 abrupt switch,不是策略自主决策。

4.4 状态空间维度对照

Oracle(教师 / 离线)HOVER(学生 / 部署)
本体观测全部刚体 p , θ , p ˙ , ω p,\theta,\dot p,\omega p,θ,p˙​,ω + a t − 1 a_{t-1} at−1​ q , q ˙ , ω base , g q,\dot q,\omega_{\text{base}},g q,q˙​,ωbase​,g + 动作历史
时间跨度单帧 + 一帧差分25 步堆叠
目标状态完整参考姿态 + 全刚体残差掩码后的稀疏命令子集
全局位置可读不可读
全局线速度可读不可读
仿真依赖是(特权量来自仿真器)否
训练信号20+ 项奖励 / PPO19 维动作 L2 / DAgger

这张表是理解全文的钥匙:信息差全部集中在教师侧,学生侧靠时间维度(25 步)补偿空间维度(刚体位姿)的缺失。

4.5 Episode 内的时序

 t0        episode 开始:采样 M_mode, M_sparsity ~ B(0.5),一次性固定
 │
 ├─ t0     rollout student ──► 记录 (s^p-student, M⊙s^g)
 │         同步取仿真特权量 ──► (s^p-oracle, s^g-oracle)
 │         查询 oracle ──► â_t
 │         L = ‖â_t − a_t‖²  ──► 更新 student
 ├─ t0+1   …(掩码不变)
 ├─ …
 └─ t0+T   episode 结束(或摔倒终止);重新采样掩码

episode 内掩码恒定这一点,使得策略在每个 episode 里等价于一个"专用模式策略",但跨 episode 的参数是共享的。训练分布因此是模式上的混合分布,而不是时间上的切换分布——这解释了为什么论文验证的是"跨模式泛化"与"人为 abrupt switch 下的稳定性",而不是"高频自动切换"的能力。


5. 踩坑点

本节按「范式级」与「工程级」分类。范式级指由方法设定本身带来的、换实现也无法消除的限制;工程级指复现、读表、部署时会实际踩到的坑。所有与论文原表数字有关的分歧都给出具体单元格,便于交叉核对。

5.1 范式级

坑 1:教师—学生的信息不对称既是设计前提,也是性能天花板。
Oracle 依赖全部刚体位姿、线速度、角速度;学生只有关节传感、基座角速度、重力向量和 25 步历史。DAgger 把教师动作当硬标签,但学生无法显式观测教师据以决策的量,只能在隐状态里隐式估计。凡是超出 25 步历史可推断范围的教师行为(例如由未建模的接触事件触发的瞬时调整),对学生来说就是不可学习的标签噪声。类比到编解码:编码端用了但没写进码流的信息,解码器只能靠参考帧猜,猜不回来的部分就是不可压缩残差。论文没有给出这个上界的定量刻画,Oracle 行在 Table III 里只作为参照( E g -mpjpe = 119 E_{g\text{-mpjpe}}=119 Eg-mpjpe​=119 mm),没有做"信息差 → 性能差"的消融。

坑 2:"统一"只在命令接口层,不在任务层。
HOVER 统一的是低层控制器接口,不含高层任务规划、模式选择或模式切换判据。结论段明确把 automated mode-switching module 列为 future work;Figure 6 的切换是外部 abrupt switch。因此不能把 HOVER 理解为"机器人自己会决定什么时候该用哪种控制模式"。此外,episode 内掩码固定意味着训练分布里没有模式跳变的样本,策略对切换的鲁棒性是零样本泛化出来的,不是训练目标。若要产品化,这一层必须另建。

坑 3:动作级 L2 蒸馏对齐的是一步动作,不是轨迹分布。
L = ∥ a ^ t − a t ∥ 2 \mathcal{L}=\|\hat a_t-a_t\|^2 L=∥a^t​−at​∥2 逐帧独立,不含时序项、不含状态分布匹配项。DAgger 通过 on-policy 聚合缓解协变量偏移,但没有根除:一旦学生因小误差进入新状态,教师在该状态下给出的动作是"从该状态出发的最优一步",并不保证学生按这个动作走完一整段轨迹后仍留在可恢复区域。更麻烦的是 a t a_t at​ 是 PD 目标位置,动作空间的小偏差会被接触动力学放大到状态空间。用编解码的话说,这是逐块优化失真而没做率失真意义上的全局码率分配。论文没有报告长时域漂移或摔倒前的平均存活时长,Survive 只给了一个总比例。

坑 4:奖励工程的复杂度被转移,不是被消除。
Table II 有 20+ 项、权重跨 8 个数量级,且 Feet air time 权重 + 10 3 +10^3 +103 是全表唯一正 regularization 项——步态节奏先验实际上是被硬编码进教师的。HOVER 的"通用性"完全建立在教师质量上;换机器人形态、换数据分布、换接触条件,仍需重训教师并重调这一整套奖励。论文把所有通用性收益归因为"共享运动先验",但没有做「换一个弱教师 / 换一套简化奖励」的消融,因而无法区分收益究竟来自运动先验本身,还是来自稠密监督信号相对稀疏 RL 奖励的方差优势。第 7.5 节的 Multi-Mode RL 对比只能证明后者的一部分。

坑 5:训练与评测共用 Q ^ \hat Q Q^​,泛化结论的范围受限。
仿真评测在重定向后的 AMASS 数据集 Q ^ \hat Q Q^​ 上做,与教师训练数据同源。Table III 的"泛化"实际是模式泛化(同一套动作,换命令子集),不是动作分布泛化(未见过的动作)。真机评测更进一步收窄到 20 段站立动作。对于动态跑动、外部扰动、复杂接触,论文只有 Figure 5/6 的定性展示,没有定量结果。

坑 6:命令越稀疏,全局位置越依赖不可观测的积分。
只给 root 速度的模式无法锚定绝对位置,长时域必然漂移。这不是蒸馏引入的缺陷,而是命令空间的信息性质:Table III 里含 root-velocity 的 ExBody / HumanPlus 模式, E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ 为 185 / 182 mm;含绝对关键点位置的 H2O / OmniH2O 为 121 / 128 mm。specialist 上同样成立(275 / 266 vs 137 / 149)。若应用要求绝对定位,选模式时必须显式避开纯速度模式,或外部补一个位置观测。

5.2 工程级

坑 7(重要):Table IV 有正文结论与表格数字不符的单元格。
正文 Section III-A 写 “the results in Table IV show that HOVER consistently outperforms specialists”,但逐格核对 4 模式 × 4 指标 = 16 项:

模式指标SpecialistHOVER判定
Left Hand E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode​147151HOVER 更差
Head E acc-mode E_{\text{acc-mode}} Eacc-mode​2.222.31HOVER 更差

其余 14 项 HOVER 占优。因此严格表述应是 14/16,而非 “consistently”。这两项恰好一个是局部姿态误差、一个是加速度误差,与 Table III 中 HOVER 在 E acc E_{\text{acc}} Eacc​ 上系统性偏弱的现象一致,不太像纯噪声。写综述或做对比实验时应自行按原表重算,不要直接引用正文的定性句。

坑 8(重要):Table IV 存在疑似排版/复制错误。
2 Hands Mode 中 Specialist 的 E vel-mode E_{\text{vel-mode}} Evel-mode​ 记为 11.2 ± 0.004。同表所有其他 E vel-mode E_{\text{vel-mode}} Evel-mode​ 的标准差都在 ± 0.029 ∼ ± 0.152 \pm0.029 \sim \pm0.152 ±0.029∼±0.152 区间, ± 0.004 \pm0.004 ±0.004 比相邻值小一个数量级,量纲上不合理。同时 Left Hand Mode 的 Specialist E vel-mode E_{\text{vel-mode}} Evel-mode​ 均值也是 11.2(标准差 ± 0.089 \pm0.089 ±0.089)——两个不同模式、不同 specialist 策略,同一指标的均值完全撞车且都带 11.2,符合典型的表格复制粘贴错误特征。引用该单元格前应对照原始图或联系作者确认,不要把它当作可复现的基线数值。

坑 9:Table V 的 11/12 是正文自己点破的,引用时别写成全胜。
真机 HumanPlus Mode 的 E root-rpy E_{\text{root-rpy}} Eroot-rpy​:Specialist 0.035 vs HOVER 0.038,HOVER 更差。正文写 “outperforms specialist policies in 11 out of 12 metrics”,指的就是这一项。这一处正文是诚实的,但二次文献里常被写成"真机全面超越"。

坑 10:Table III 里 HOVER 在 E acc E_{\text{acc}} Eacc​ 上系统性更差,工程含义被低估。

模式Specialist E acc E_{\text{acc}} Eacc​HOVER E acc E_{\text{acc}} Eacc​相对变化
ExBody2.633.01+14.4%
HumanPlus2.532.85+12.6%
H2O2.632.73+3.8%
OmniH2O2.692.690%

关节加速度误差上升意味着动作更"抖"。同时 E vel E_{\text{vel}} Evel​(速度误差)HOVER 反而更小(如 ExBody 6.06 vs 6.31)。二者组合起来的解释是:HOVER 的位置/关节角跟踪更贴参考,但参考动作本身的高频分量被更忠实地复现,而 specialist 被自己的奖励平滑项磨掉了高频。在真机上这会转化为电机发热、齿轮冲击和能耗上升,论文没有报告功耗、力矩峰值或关节温度。同理 E root-vel E_{\text{root-vel}} Eroot-vel​ 上 HOVER 也常略差(ExBody 0.452 vs 0.428,HumanPlus 0.455 vs 0.422)。结论:HOVER 的优势集中在"像不像参考姿态",不是"运动是否更平顺"。

坑 11:Figure 3 / Figure 4 的数值与表格口径不完全一致。
PDF 文本层给出的 Figure 3 雷达图标注为 181.7 / 266.1 / 120.8 / 128.4 / 275.1 / 185.0,而 Table III 对应位置是 182 / 266 / 121 / 128 / 275 / 185;H2O Specialist 的局部 MPJPE 在雷达图附近出现 66.2,Table III 是 66.3。属于舍入或不同统计口径,量级一致。写表格时应统一以 Table III 为准并注明,避免两套数字混用。

坑 12:Figure 4 的归一化会放大微小差异,且原始数值未给出。
E ~ = ( E max ⁡ − E ) / ( E max ⁡ − E min ⁡ ) \tilde E=(E_{\max}-E)/(E_{\max}-E_{\min}) E~=(Emax​−E)/(Emax​−Emin​) 用极值做缩放,若 E max ⁡ − E min ⁡ E_{\max}-E_{\min} Emax​−Emin​ 较小,两个方法之间几个百分点的绝对差会被拉成雷达图上的显著面积差。正文宣称 “consistently lower tracking error across 32/32 metrics and modes”,但 Figure 4 的四个雷达图只标了部分数值,正文没有给出 8 模式 × 4 指标的原始误差表。也就是说这 32/32 的结论无法从论文给出的数值独立复核。此外 E max ⁡ E_{\max} Emax​、 E min ⁡ E_{\min} Emin​ 是在两种方法间取还是跨模式取,论文未说明;取法不同会改变图形观感但不改变排序,属于典型的可视化自由度。

坑 13:两级表头与列语义极易读错。
page.get_text() 会把 Table III 的 “Kinematic Position / Joint Angle / Root” 两级合并表头压成一行散字,直接爬表很容易错列。正确列序为:
Survive | Eg-mpjpe | Empjpe | Eacc | Evel | Eupper-j | Elower-j | Eroot-vel | Eroot-h | Eroot-r | Eroot-p | Eroot-y,共 12 项指标。其中 E root-r/p/y E_{\text{root-r/p/y}} Eroot-r/p/y​ 是 roll/pitch/yaw 三个独立分量, E root-h E_{\text{root-h}} Eroot-h​ 是高度(不是 heading),别与 E root-vel E_{\text{root-vel}} Eroot-vel​ 混。Table V 的 E root-rpy E_{\text{root-rpy}} Eroot-rpy​ 是合并量,与 Table III 三分量不同量,不可跨表直接比较。

坑 14:8 页正文无附录,复现所需超参数大量缺失。
明文给出的只有:MLP [ 512 , 256 , 128 ] [512,256,128] [512,256,128](Oracle,沿用 [9])、25 步历史、 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 掩码、PPO、19-DoF H1(≈51.5 kg / ≈1.8 m)、IsaacGym [23]、5 个随机种子(Table III)、5 次测试(Table V)、真机 20 段站立动作。缺失:PPO 学习率 / batch size / 训练步数、 γ \gamma γ、episode 长度、蒸馏轮数与 DAgger 迭代次数、学生网络结构(是否与教师同构)、PD 增益 K p / K d K_p/K_d Kp​/Kd​、策略与 PD 的控制频率、域随机化范围、 Q ^ \hat Q Q^​ 的规模与筛选阈值、mask 向量总维度 D D D。复现需回查 OmniH2O [9] / H2O [10] 的配置或等待开源。论文网站 hover-versatile-humanoid.github.io 给出了,但 PDF 内未提供代码仓库链接。

坑 15:25 步历史对部署时序极其敏感。
训练时历史缓冲是严格等间隔的 25 帧;真机上丢帧、控制器抖动、传感器时间戳漂移都会让送入网络的向量与训练分布错开。这类问题在仿真里完全看不到,却往往是 sim-to-real 掉点的主要来源。工程上需要固定步长的重采样、时间戳校验,以及历史缓冲的显式初始化策略(episode 起始的前 24 步如何 padding)。论文未讨论。

5.3 故障对照表

现象归类定位建议
全局位置越走越偏范式级命令只有 root 速度,积分漂移模式里加入绝对关键点锚;外部补位置观测
切换模式瞬间姿态突变范式级训练时掩码 episode 内固定增加跨掩码过渡样本,或外部做插值
真机增益远小于仿真范式级传感噪声/执行器延迟主导误差见 7.7,需单独做噪声注入消融
电机发热、动作抖范式级 E acc E_{\text{acc}} Eacc​ 系统性偏高蒸馏损失加加速度正则或动作平滑项
引用 “consistently outperforms” 被质疑工程级Table IV 两格反例改述为 14/16,附原表
基线数值怪异工程级Table IV 11.2±0.004交叉核对原图,勿直接引用
爬表错列工程级两级合并表头按 5.2 坑 13 的列序人工重建
复现不出 32/32工程级Figure 4 归一化口径未公开自行定义归一化并报告绝对误差

6. 源码拆解

声明:PDF 正文与图注中均未给出代码仓库,本论文在 v2 版本里没有官方实现可引用。以下代码是依据 Section II-C~II-E、Figure 2、Table II 的描述与图注重建的伪代码,用于说明数据流与实现要点,不是论文源码,也不代表作者在仓库里的实际写法。凡论文未给出的数值一律以 CFG.xxx 占位,不做臆测。

6.1 命令向量与掩码构造

对应 Section II-E 的 Command Mask 段与 Figure 1 的三组虚线框。要点是掩码必须和命令一起作为网络输入,否则无法区分"不提供"与"提供且为 0"。

# 依据 Section II-E / Figure 1 重建
import numpy as np

class CommandSpec:
    """统一命令空间的三个原子子空间(19-DoF H1)"""
    KIN_KEYS = ["torso", "head", "l_shoulder", "r_shoulder",
                "l_elbow", "r_elbow", "l_hand", "r_hand",
                "l_ankle", "r_ankle"]          # 关键点三维位置
    JOINT_DIM = 19                              # Motor-0 ... Motor-18
    ROOT_KEYS = ["vx", "vy", "vz", "height", "roll", "pitch", "yaw"]

def build_command(ref_frame, spec: CommandSpec):
    """完整目标状态 s^g:拼接三类命令值"""
    kin   = np.stack([ref_frame[k] for k in spec.KIN_KEYS])       # (10, 3)
    joint = ref_frame["q_target"]                                  # (19,)
    root  = np.stack([ref_frame[k] for k in spec.ROOT_KEYS])      # (7,)
    return {"kin": kin, "joint": joint, "root": root}

def sample_masks(rng, spec: CommandSpec, p=0.5):
    """
    M_mode: 上下半身独立选择命令类别(3 位类别开关)
    M_sparsity: 在选中类别内部按 B(0.5) 逐维伯努利采样
    episode 起始采样一次,整段 episode 复用(Section II-E)
    """
    D = len(spec.KIN_KEYS) * 3 + spec.JOINT_DIM + len(spec.ROOT_KEYS)  # = 56
    M_mode = {
        "upper": rng.binomial(1, p, size=3),   # [kin? joint? root?] 类别开关
        "lower": rng.binomial(1, p, size=3),
    }
    M_sparsity = rng.binomial(1, p, size=D).astype(np.float32)
    return M_mode, M_sparsity

def masked_goal(full_goal, M_mode, M_sparsity, spec, upper_ids, lower_ids):
    """s^g-student = M_sparsity ⊙ [M_mode ⊙ s^g-upper, M_mode ⊙ s^g-lower]
    apply_body_partition: 把 3 位类别开关广播到对应的 56 个命令维度上"""
    v = np.concatenate([full_goal["kin"].ravel(),
                        full_goal["joint"],
                        full_goal["root"]])
    v = apply_body_partition(v, M_mode, upper_ids, lower_ids)  # 上下半身独立
    v = M_sparsity * v                                          # Hadamard 积
    return np.concatenate([v, M_sparsity, np.asarray(M_mode["upper"]),
                           np.asarray(M_mode["lower"])])        # 掩码本身也入网

这里 apply_body_partition 是唯一需要人工定义的部分:论文只说"上下半身独立施加 mode mask",没有给出关键点与关节到上下半身的划分表。H2O 的定义是上半身 6 点(肩/肘/手)、下半身 2 点(踝),可作为默认参考;19 个关节的上下半身切分需按 H1 的 URDF 自行映射。这是复现时第一个必须自己拍板的设计点。

6.2 学生本体观测:25 步环形缓冲

对应 s t p -student ≜ [ q , q ˙ , ω base , g ] t − 25 : t ∪ [ a t − 25 : t − 1 ] s_t^{p\text{-student}} \triangleq [q,\dot q,\omega_{\text{base}},g]_{t-25:t}\cup[a_{t-25:t-1}] stp-student​≜[q,q˙​,ωbase​,g]t−25:t​∪[at−25:t−1​]。

# 依据 Section II-E 重建
class ProprioBuffer:
    """固定步长环形缓冲:避免每帧 malloc / 拷贝,推理延迟可控"""
    H = 25
    def __init__(self, joint_dim=19):
        self.q    = np.zeros((self.H, joint_dim), np.float32)
        self.dq   = np.zeros((self.H, joint_dim), np.float32)
        self.wb   = np.zeros((self.H, 3),         np.float32)
        self.grav = np.zeros((self.H, 3),         np.float32)
        self.act  = np.zeros((self.H, joint_dim), np.float32)  # a_{t-25:t-1}
        self.head = 0
        self.fill = 0

    def reset(self):
        """新 episode 清零;前 24 步的 padding 策略需与训练侧严格一致"""
        for arr in (self.q, self.dq, self.wb, self.grav, self.act):
            arr.fill(0.0)
        self.head = 0
        self.fill = 0

    def push(self, obs, prev_action):
        i = self.head
        self.q[i], self.dq[i] = obs["q"], obs["dq"]
        self.wb[i], self.grav[i] = obs["omega_base"], obs["gravity"]
        self.act[i] = prev_action
        self.head = (i + 1) % self.H
        self.fill = min(self.fill + 1, self.H)

    def flat(self):
        """按时间顺序展开;未填满的 episode 起始帧需 padding"""
        order = [(self.head - self.H + k) % self.H for k in range(self.H)]
        return np.concatenate([
            self.q[order].ravel(), self.dq[order].ravel(),
            self.wb[order].ravel(), self.grav[order].ravel(),
            self.act[order].ravel()], axis=0)

维度粗算: ( 19 + 19 + 3 + 3 + 19 ) × 25 = 63 × 25 = 1575 (19+19+3+3+19)\times 25 = 63\times25=1575 (19+19+3+3+19)×25=63×25=1575 维本体观测,再加掩码后的命令向量。这是一个输入远大于输出(19 维)的回归问题,也解释了为什么学生网络必须靠大量 on-policy 数据才能把隐式状态估计学好。

6.3 Oracle 训练骨架与奖励组装

对应 Section II-D、Table II。奖励项跨 8 个数量级,实现上必须对 task reward 做核映射后再加权。

# 依据 Section II-D 与 Table II 重建
REWARD_W = {                       # 原表数值,正负号照录
    "torque_limits": -2.0,        "termination": -2.5e2,
    "dof_pos_limits": -1.25e2,    "dof_vel_limits": -5e1,
    "dof_acc": -1.1e-5,           "dof_vel": -4e-3,
    "lower_action_rate": -3.0,    "upper_action_rate": -6.25e-1,
    "torque": -1e-4,              "feet_orientation": -6.25e1,
    "feet_air_time": 1e3,         # 全表唯一正 regularization 项
    "feet_contact_force": -7.5e-1,"stumble": -1.25e3,
    "slippage": -7.5e1,           "in_the_air": -2e2,
    "max_feet_height_per_step": -3e3,
    "task_dof_pos": 3.2e1,        "task_dof_vel": 1.6e1,
    "task_body_pos": 8e1,         "task_body_rot": 2e1,
    "task_body_vel": 8.0,         "task_body_ang_vel": 8.0,
    "task_root_vel": 1e2,         "task_root_rot": 2e1,
}

def oracle_reward(sim, ref, action, prev_action):
    r = 0.0
    for name, w in REWARD_W.items():
        r += w * reward_term(name, sim, ref, action, prev_action)
    return r                      # r_pen + r_reg + r_task

def train_oracle(env, ref_dataset_Qhat, cfg):
    """PPO,三层 MLP [512, 256, 128];域随机化沿用 OmniH2O [9]"""
    policy = MLP([512, 256, 128], out_dim=19)
    ppo = PPO(policy, **cfg.ppo)   # lr / batch / gamma / T 论文未给出
    for it in range(cfg.ppo.total_iters):
        env.randomize_domain(cfg.domain_rand)   # 物理参数 + 机器人参数
        rollouts = []
        for _ in range(cfg.ppo.num_envs):
            traj = env.reset(); ref = ref_dataset_Qhat.sample_sequence()
            for t in range(cfg.ppo.episode_len):
                sp = oracle_proprio(env)                    # 全部刚体:仿真特权量
                sg = oracle_goal(ref[t + 1], sp)            # 完整姿态 + 单帧差分
                a, logp, v = policy(sp, sg)
                env.step(a)                                 # a → PD 目标关节位置
                r = oracle_reward(env, ref[t], a, traj.last_a)
                traj.add(sp, sg, a, logp, v, r)
                traj.last_a = a
            rollouts.append(traj)
        ppo.update(rollouts)        # 最大化 E[Σ γ^{t-1} r_t]
    return policy                  # 冻结,作为蒸馏教师

oracle_proprio 从仿真器直接读全部刚体的 p , θ , p ˙ , ω p,\theta,\dot p,\omega p,θ,p˙​,ω;oracle_goal 计算 θ ^ t + 1 ⊖ θ t \hat\theta_{t+1}\ominus\theta_t θ^t+1​⊖θt​ 等四项残差与 ( θ ^ t , p ^ t ) (\hat\theta_t,\hat p_t) (θ^t​,p^​t​) 两项绝对值。旋转差分必须用四元数/李代数形式实现,用欧氏减法会在角度跨越 ± π \pm\pi ±π 时产生错误监督信号——这是动作模仿类代码最常见的低级 bug。

6.4 DAgger 蒸馏主循环

对应 Section II-E 的 Policy Distillation 段与 Figure 2。核心是rollout 学生、查询教师、聚合数据三件事的顺序。

# 依据 Section II-E "Policy Distillation" 与 Figure 2 重建
def distill_hover(env, oracle, ref_Qhat, cfg):
    student = MLP(**cfg.student_arch)       # 论文未给学生网络结构
    buffer = ProprioBuffer(joint_dim=19)
    D = []                                  # DAgger 聚合数据集
    for k in range(cfg.dagger.num_iters):   # 论文未给迭代次数
        for ep in range(cfg.dagger.episodes_per_iter):
            env.reset(); buffer.reset()
            M_mode, M_sparsity = sample_masks(rng, spec, p=0.5)
            ref = ref_Qhat.sample_sequence()
            for t in range(cfg.episode_len):
                # ① 学生侧:可部署观测 + 掩码命令
                obs = env.deployable_obs()              # q, dq, omega_base, g
                sp_s = buffer.flat()
                sg_s = masked_goal(build_command(ref[t], spec), M_mode,
                                   M_sparsity, spec, upper_ids, lower_ids)
                a_t = student(sp_s, sg_s)               # 19 维 PD 目标

                # ② 教师侧:同一物理时刻、同一仿真状态,取特权量
                sp_o = oracle_proprio(env)
                sg_o = oracle_goal(ref[t + 1], sp_o)    # 完整,不掩码
                a_hat = oracle(sp_o, sg_o).detach()     # 硬标签,不回传梯度

                # ③ 聚合 on-policy 数据
                D.append((sp_s, sg_s, a_hat))

                # ④ 推进环境(动作来自学生,不是教师)
                env.step(a_t)
                buffer.push(obs, a_t)
                if env.terminated(): break              # 非脚部触地即终止

        # ⑤ 在聚合数据集上做监督更新:L = ‖â_t − a_t‖²
        for _ in range(cfg.dagger.grad_steps):
            sp, sg, a_hat = sample_batch(D)
            loss = ((student(sp, sg) - a_hat) ** 2).sum(dim=-1).mean()
            optimizer.step(loss)
    return student

几处容易写错的地方,值得逐条标出来:

  1. env.step(a_t) 必须用学生动作。若误用 a_hat,就退化成教师轨迹上的行为克隆,DAgger 的 on-policy 性质消失。
  2. a_hat 查询用的 sp_o 必须与学生推进后的同一仿真状态对应,不能拿教师自己历史上访问过的状态。这正是 DAgger 区别于"回放教师轨迹"的关键。
  3. M_mode / M_sparsity 在 episode 循环外采样一次。放在时间步循环里是常见实现错误,会把训练分布变成高频掩码跳变。
  4. 教师 oracle 必须 no_grad / detach,蒸馏阶段不更新教师。

6.5 部署推理循环

# 依据 Section II-E / Figure 2 "Sim-to-Real Proprioception" 重建
def deploy(policy, robot, frontend, mask_cfg):
    """frontend: VR / MoCap / Joystick / RGB,产出命令子集"""
    buf = ProprioBuffer(joint_dim=19)
    mask = mask_cfg.freeze()                # 一次会话固定,或外部显式切换
    prev_a = np.zeros(19, np.float32)
    while robot.ok():
        obs = robot.read_sensors()         # q, dq, omega_base(IMU), gravity
        cmd = frontend.read()              # 稀疏命令,缺失维度由掩码标记
        sp, sg = buf.flat(), pack_masked(cmd, mask)
        a = policy(sp, sg)                 # 19 维目标关节位置
        robot.set_pd_targets(a)            # τ = Kp(a − q) − Kd·q̇,底层高频闭环
        buf.push(obs, prev_a)
        prev_a = a
        robot.wait_next_tick()             # 固定步长,见坑 15

6.6 超参数表(论文明文给出的全部数值)

类别参数值出处
硬件机器人 / 自由度 / 质量 / 身高Unitree H1 / 19 DoF / ≈51.5 kg / ≈1.8 mSec. III
仿真器IsaacGym [23]—Sec. III
数据AMASS [17] → Q ^ \hat Q Q^​三步重定向 + sim-to-data 过滤Sec. II-C
Oracle 网络三层 MLP 隐层 [ 512 , 256 , 128 ] [512, 256, 128] [512,256,128]Sec. II-D
Oracle 算法PPO [18] γ \gamma γ、lr、batch 未给出Sec. II-A/D
学生观测历史窗口25 步Sec. II-E
掩码每 bit 分布 / 采样时机 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) / episode 起始,段内固定Sec. II-E
蒸馏算法 / 损失DAgger [22] / ∣ a ^ t − a t ∣ 2 2 |\hat a_t-a_t|_2^2 ∣a^t​−at​∣22​Sec. II-E
动作维度 / 语义 R 19 \mathbb{R}^{19} R19 / PD 目标关节位置Sec. II-A
评测仿真 / 真机5 随机种子 / 5 次测试,20 段站立动作Table III / V
奖励项数 / 权重范围20+ 项, 1.1 × 10 − 5 1.1\times10^{-5} 1.1×10−5 ~ 3 × 10 3 3\times10^{3} 3×103Table II

6.7 实现层技巧(面向真机部署)

论文没有讨论工程实现,以下几点是按其数据流自然导出的,供做 C++/Python 落地时参考:

  • 掩码用位运算打包,不要用浮点向量乘。 M sparsity M_{\text{sparsity}} Msparsity​ 是二值向量,用一个 uint64_t 位图( D ≤ 64 D\le 64 D≤64 时)或两个 uint64_t 表示,配合 __builtin_popcountll 做激活维度统计;命令值仍在浮点数组里,掩码只作为网络输入追加一个 0/1 通道。这样既省带宽,也避免了"值恰好为 0"与"未提供"混淆。
  • 历史缓冲用环形数组 + 预分配张量,推理时只做一次 memcpy 到连续输入张量,避免每控制周期构造 25 个临时对象。1575 维的输入在 1 kHz 级控制回路里,内存分配抖动比算力更致命。
  • PD 与策略分线程/分进程:策略网络是低频(几十 Hz)、非确定延迟;PD 是高频(kHz)、硬实时。两者共线程会让一次网络推理卡顿直接变成关节失控。中间用无锁双缓冲交换 a_t。
  • 旋转差分走 SO(3): θ ^ t + 1 ⊖ θ t \hat\theta_{t+1}\ominus\theta_t θ^t+1​⊖θt​ 用四元数 q_hat * q.conjugate() 再取对数映射,不要用欧拉角相减。角度环绕处的错误会直接污染教师目标,且只在特定动作上出现,很难查。
  • 教师推理离线/离线进程化:oracle 在蒸馏时每步都要查询一次,若与学生 rollout 同进程同步执行,GPU 上会频繁切换两个计算图。常见的做法是把教师查询批量化或单独起一个推理进程。
  • 掩码日志必须落盘:每个 episode 的 M mode M_{\text{mode}} Mmode​、 M sparsity M_{\text{sparsity}} Msparsity​ 存下来。因为 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 采样下某些稀疏组合可能在整个训练中只出现几次,出问题时的第一手证据就是当时的掩码。

6.8 复现缺口清单

缺口影响可否从引用文献补齐
PPO / 蒸馏的全部超参无法复现训练曲线部分可从 [9, 10] 推断
学生网络结构影响容量与推理延迟否
上下半身关键点/关节划分表决定掩码语义部分可从 H2O 的 8 关键点定义推断
PD 增益与控制频率决定 sim-to-real 表现需查 H1 默认配置
域随机化范围决定真机鲁棒性可从 [9] 推断
Q ^ \hat Q Q^​ 规模与筛选阈值决定训练/评测分布否
Figure 4 的 E max ⁡ / E min ⁡ E_{\max}/E_{\min} Emax​/Emin​ 口径决定 32/32 复核否

7. 效果对比

7.1 仿真主表(Table III,5 随机种子,均值)

下表为原表均值;原表每个数值还带 ± \pm ± 标准差(例如 Oracle 的 E g -mpjpe = 119 ± 0.442 E_{g\text{-mpjpe}}=119\pm0.442 Eg-mpjpe​=119±0.442,ExBody HOVER 的 185 ± 1.110 185\pm1.110 185±1.110),完整带误差版本请对照原表。单位:Survive 为 %, E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ / E mpjpe E_{\text{mpjpe}} Empjpe​ 为 mm, E acc E_{\text{acc}} Eacc​ 为 mm/frame², E vel E_{\text{vel}} Evel​ 为 mm/frame,关节角与 root 旋转为 rad, E root-vel E_{\text{root-vel}} Eroot-vel​ 为 m/s。

方法Survive↑ E g  ⁣ −  ⁣ m p j p e E_{g\!-\!mpjpe} Eg−mpjpe​↓ E m p j p e E_{mpjpe} Empjpe​↓ E a c c E_{acc} Eacc​↓ E v e l E_{vel} Evel​↓ E u p p e r  ⁣ −  ⁣ j E_{upper\!-\!j} Eupper−j​↓ E l o w e r  ⁣ −  ⁣ j E_{lower\!-\!j} Elower−j​↓ E r o o t  ⁣ −  ⁣ v e l E_{root\!-\!vel} Eroot−vel​↓ E r o o t  ⁣ −  ⁣ h E_{root\!-\!h} Eroot−h​↓ E r o o t  ⁣ −  ⁣ r E_{root\!-\!r} Eroot−r​↓ E r o o t  ⁣ −  ⁣ p E_{root\!-\!p} Eroot−p​↓ E r o o t  ⁣ −  ⁣ y E_{root\!-\!y} Eroot−y​↓
Oracle policy99.311959.42.635.430.1530.2060.4560.0660.0650.0830.282
ExBody (Specialist)99.127583.12.636.310.1660.2430.4280.0740.0700.1470.276
HOVER (ExBody)99.118563.93.016.060.1480.2100.4520.0630.0680.0910.279
HumanPlus (Specialist)98.426680.12.536.160.1770.2220.4220.0610.0800.1240.228
HOVER (HumanPlus)98.918264.52.855.910.1450.2110.4550.0670.0690.1040.237
H2O (Specialist)99.213766.32.635.750.1770.2210.4570.0780.0670.0950.415
HOVER (H2O)98.912160.62.735.490.1580.2070.4560.0650.0670.0860.365
OmniH2O (Specialist)99.014976.42.696.180.1990.2320.4560.0710.0700.1250.306
HOVER (OmniH2O)99.012862.52.695.650.1620.2130.4570.0650.0680.0890.310

逐模式胜负统计(本文按上表逐格重算,↓ 指标越小越好,平局单列):

模式HOVER 胜负平与正文 “at least 7/12” 一致?
ExBody831✓
HumanPlus840✓
H2O921✓
OmniH2O822✓
合计33114✓(48 格)

正文 “每个模式至少 12 项中的 7 项占优” 与表格一致。但把 11 个负项归拢看,分布并不随机: E acc E_{\text{acc}} Eacc​ 4 个模式里 3 负 1 平, E root-vel E_{\text{root-vel}} Eroot-vel​ 4 个模式里 3 负 1 胜, E root-y E_{\text{root-y}} Eroot-y​ 4 个模式里 3 负。这不是噪声,是系统性的能力偏向——HOVER 更贴参考姿态,但动作高频分量更多、root 速度/偏航跟踪略松。

7.2 相对提升与"最重要的数字"

按 HOVER 相对 specialist 计算降幅(本文基于 Table III 均值计算):

模式 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​降幅 E mpjpe E_{\text{mpjpe}} Empjpe​降幅 E upper-j E_{\text{upper-j}} Eupper-j​降幅
ExBody275→185−32.7%83.1→63.9−23.1%0.166→0.148−10.8%
HumanPlus266→182−31.6%80.1→64.5−19.5%0.177→0.145−18.1%
H2O137→121−11.7%66.3→60.6−8.6%0.177→0.158−10.7%
OmniH2O149→128−14.1%76.4→62.5−18.2%0.199→0.162−18.6%

最值得注意的是 ExBody / HumanPlus 的 −32% 与 −31.6%:这两个模式恰恰是命令最稀疏、最缺绝对位置锚点的模式,也是 specialist 与 Oracle 上界差距最大的模式(275/266 vs 119 mm)。也就是说,蒸馏带来的增益与"该模式本身有多难"高度正相关——专用 RL 策略在欠约束命令下最容易过拟合自己的奖励结构,而共享运动先验恰好在这里补上了最多的信息。这与论文第 2 页的假设(“single-mode policies often overfit to specific reward structures”)在数据上吻合。

反过来看 H2O 模式只降 11.7%,因为它本来就给了 8 个绝对关键点位置,约束充分,specialist 已经接近上界(137 vs 119),留给蒸馏的空间不大。增益不是均匀分布的,它集中在信息最稀缺的模式上。

7.3 与 Oracle 上界的距离(本文二次分析)

模式 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​相对 Oracle (119) E mpjpe E_{\text{mpjpe}} Empjpe​相对 Oracle (59.4)
H2O121+1.7%60.6+2.0%
OmniH2O128+7.6%62.5+5.2%
HumanPlus182+53.0%64.5+8.6%
ExBody185+55.5%63.9+7.6%

这张表是全文信息量最大的一组比值,而论文没有把它单独列出来:

  • 局部姿态误差几乎与模式无关:四种模式下 E mpjpe E_{\text{mpjpe}} Empjpe​ 都只在 Oracle 上界之上 2%~9%。说明 25 步历史缓冲足以把"整体姿态"重建出来,学生不依赖命令就能把这个分量猜对。
  • 全局位置误差对模式极度敏感:从 +1.7% 到 +55.5%,跨度 30 倍。分界线非常干净——命令里有没有绝对位置锚点。H2O 跟踪双踝三维位置、OmniH2O 跟踪头与双手,等价于给了解码器绝对坐标;ExBody / HumanPlus 只给 root 速度,等价于只传运动矢量,积分漂移直接体现在全局 MPJPE 上。

由此可得一个对系统设计有用的判据:若要控制全局位置误差,选模式时优先选带绝对关键点约束的;若只需姿态像人,纯速度模式的代价可以接受。 论文把这组数据分散在 Table III 里,没有做这个归因,但它对实际选型比"HOVER 比 specialist 好"更有指导性。这也反过来印证了第 2.8 节的 DPB / 运动矢量类比:历史缓冲能补回姿态,补不回绝对坐标系下的累积漂移。

7.4 稀疏模式对比(Table IV)

模式方法 E g -mpjpe-mode E_{g\text{-mpjpe-mode}} Eg-mpjpe-mode​↓ E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode​↓ E acc-mode E_{\text{acc-mode}} Eacc-mode​↓ E vel-mode E_{\text{vel-mode}} Evel-mode​↓
Left HandSpecialist189±1.526147±1.3245.82±0.02911.2±0.089
HOVER138±1.025151±0.9345.45±0.03110.3±0.104
Right HandSpecialist220±1.345216±1.4516.77±0.05112.5±0.152
HOVER128±0.774141±0.8215.83±0.04910.8±0.129
2 HandsSpecialist137±0.998145±1.0105.72±0.03711.2±0.004 ⚠
HOVER120±0.901119±0.8275.60±0.04510.1±0.134
HeadSpecialist186±1.149104±0.8142.22±0.0086.63±0.065
HOVER133±0.84980.0±0.7112.31±0.0116.40±0.029

⚠ 单元格见坑 8。这一组数据说明两件事:

  1. 右手模式收益最大: E g -mpjpe-mode E_{g\text{-mpjpe-mode}} Eg-mpjpe-mode​ 220→128(−41.8%), E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode​ 216→141(−34.7%)。单关键点模式信息量最少,专用 RL 策略最难学到稳定全身姿态,蒸馏的运动先验补得最多。与 7.2 的规律一致。
  2. 16 格里 HOVER 胜 14 格,反例见坑 7。Left Hand 的 E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode​ 与 Head 的 E acc-mode E_{\text{acc-mode}} Eacc-mode​ 两项 HOVER 更差,正文 “consistently outperforms” 的表述需要修正。

7.5 与其他通用训练方法对比(Figure 4)

基线 Multi-Mode RL 使用完全相同的掩码机制,但从零用 RL 目标训练,没有教师。四个雷达图分别对应 (a) Root RPY、(b) Upper Joint、© Local Body Position、(d) Global Body Position,八个模式为 Head only、ExBody、Left hand only、OmniH2O、HumanPlus、Right hand only、Two hands、H2O。

论文结论:HOVER 在 32/32(4 指标 × 8 模式)上误差都更低,雷达网用 E ~ = ( E max ⁡ − E ) / ( E max ⁡ − E min ⁡ ) \tilde E=(E_{\max}-E)/(E_{\max}-E_{\min}) E~=(Emax​−E)/(Emax​−Emin​) 归一化后绿色(HOVER)全面包住紫色(Multi-Mode RL)。

这组对比的实验设计价值在于它是受控变量:掩码相同、模式分布相同,唯一差别是监督信号来源(教师动作 L2 vs 稀疏 RL 奖励)。因此结论可以比较干净地归因为「特权运动先验 + 稠密监督」优于「从零多模式 RL」。局限也很清楚:原始误差数值未列表、归一化口径未定义(坑 12),32/32 无法独立复核。

7.6 真机结果(Table V,20 段站立动作,5 次测试)

模式方法 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​↓ E mpjpe E_{\text{mpjpe}} Empjpe​↓ E upper-j E_{\text{upper-j}} Eupper-j​↓ E root-rpy E_{\text{root-rpy}} Eroot-rpy​↓
ExBodySpecialist51.3±0.27939.3±0.2140.131±0.0010.036±0.001
HOVER48.9±0.47036.8±0.2010.126±0.0010.032±0.001
HumanPlusSpecialist51.0±0.27536.7±0.2020.128±0.0010.035±0.001
HOVER47.4±0.35935.3±0.1940.121±0.0010.038±0.001
OmniH2OSpecialist51.2±0.49742.1±0.2330.153±0.0020.040±0.001
HOVER47.5±0.26141.0±0.2270.145±0.0010.037±0.001

11/12 占优,唯一反例是 HumanPlus 的 E root-rpy E_{\text{root-rpy}} Eroot-rpy​(0.038 vs 0.035)。Figure 5 另外展示了 Upper-Body Joint Mode、Root Pitch Mode、Full-Body Kinematics Mode 的定性结果(含高动态跑动);Figure 6 展示运行中 abrupt 切模式与 Vision Pro 三点遥操作下随机遮蔽头/手位置。这些是定性展示,没有定量指标,也没有真机 locomotion 的跟踪误差数值。

7.7 仿真—真机增益落差(本文二次分析)

把同一个指标 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe​ 在仿真与真机上的相对降幅放在一起:

模式仿真降幅真机降幅比值
ExBody−32.7%−4.7%7.0×
HumanPlus−31.6%−7.1%4.5×
OmniH2O−14.1%−7.2%2.0×
平均≈ −22.5%≈ −6.3%≈ 3.6×

需要指出的是,两组数字不是同一实验条件:仿真用 Q ^ \hat Q Q^​ 全量动作序列、真机只用 20 段站立动作,绝对误差量级也完全不同(185 mm vs 48.9 mm,真机反而更小,说明真机评测选的是简单动作)。因此这个比值不能直接解释为"sim-to-real 掉了多少",只能说明:在容易的动作上,专用策略与通用策略的差距会被压到几个百分点。合理推测是真机误差被传感噪声、执行器延迟、标定误差等共同项主导,策略本身的差异被这部分共同噪声淹没。论文没有做噪声注入消融来分离这两项,这是评估通用控制器真实收益时最需要补的实验。

7.8 结论性数字

若只记三个数:

  • 119 → 121 mm:H2O 模式下 HOVER 的全局位置误差只比特权 Oracle 上界高 1.7%,说明在信息充分的模式下蒸馏几乎无损。
  • 275 → 185 mm(−32.7%):ExBody 模式下相对专用策略的最大增益,也是"共享运动先验补欠约束"最直接的证据。
  • 22.5% vs 6.3%:仿真与真机的平均相对增益落差,提醒不要把 Table III 的百分比直接外推到硬件。

8. 总结

8.1 核心结论

HOVER 的贡献可以压缩成一句:把"控制模式"从需要重新训练的模型,降级为策略输入上的一个二值掩码;并用特权全身运动模仿器提供的稠密动作监督,让单个网络学会在这族掩码分布下都表现良好。 三步落地——(1) 定义覆盖三大类命令的统一原子空间;(2) PPO 训练一个能看到全部特权状态的 Oracle 运动模仿器,把平衡、协调、类人先验集中进一个网络;(3) 用 DAgger 在学生的 on-policy 状态上做 ∥ a ^ t − a t ∥ 2 \|\hat a_t-a_t\|^2 ∥a^t​−at​∥2 动作回归,掩码在 episode 起始从 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 采样并保持固定。

它在受控对比中证明了两件事:相对专用 RL 策略,同一策略在四种既有模式下每个至少 7/12 指标占优(合计 33/48);相对同样掩码设计的 Multi-Mode RL 基线,32/32 指标与模式误差更低。后者说明关键变量是监督信号的稠密性与来源,而非掩码机制本身。

8.2 能力边界

边界同样清楚:统一的是低层命令接口,不含自动模式选择(论文自己列为 future work);训练分布里没有 episode 内的模式跳变;增益集中在姿态/位置跟踪,代价是 E acc E_{\text{acc}} Eacc​ 系统性上升(动作更抖);全局位置精度强依赖命令里是否有绝对锚点;真机定量验证限于 20 段站立动作。复现层面,8 页正文无附录,PPO/蒸馏超参、学生网络结构、PD 增益与控制频率等关键配置均缺失。

8.3 与编解码设计的连接

整套架构与视频编码标准的语法设计几乎同构:一套码流语法 + 模式标志位,替代 N 套专用解码器;编码端/解码端的信息不对称,对应 Oracle 特权观测与学生可部署观测;DPB 参考帧缓冲对应 25 步历史;只传运动矢量不传绝对坐标会导致积分漂移,对应纯 root 速度模式的全局 MPJPE 劣势。第 7.3 节的数据为这个同构提供了定量支持:局部姿态误差在四种模式下都贴近 Oracle 上界(+2%~+9%),全局位置误差却从 +1.7% 拉到 +55.5%——历史缓冲能补回姿态,补不回累积漂移。

对做视频编码的读者,还有一个方法论层面的可迁移点:HOVER 相当于把一个策略压成了整条 R-D 曲线族上的单一参数化模型,而不是为每一个码率点训一个模型。命令稀疏度就是 R,跟踪误差就是 D; B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 随机掩码是对这条曲线族的蒙特卡洛采样。这种"把操作点作为条件输入"的思路,在可变码率/可变复杂度的神经编解码器设计里同样成立。

8.4 开放问题

  1. 自动模式选择:能否让策略根据任务与传感可用性自行输出掩码?论文留下的最直接缺口。若把掩码也变成策略输出,就变成了一个带离散隐变量的层次化 RL 问题。
  2. 信息差上界的定量刻画:学生的 25 步历史究竟能推断出多少特权状态?能否用状态估计误差或互信息把 Oracle–HOVER 的性能差拆成"可学习"与"不可学习"两部分?这会直接回答 25 步是否足够、以及应当加到多少步。
  3. 轨迹级蒸馏:在 ∥ a ^ t − a t ∥ 2 \|\hat a_t-a_t\|^2 ∥a^t​−at​∥2 之外引入多步状态匹配或对抗式轨迹判别,能否抑制 E acc E_{\text{acc}} Eacc​ 上升与长时域漂移?
  4. 训练/评测分布解耦:在未见动作、外部扰动、非站立任务上重新评测,并把传感噪声、执行器延迟做成分层消融,才能分离 7.7 节里那 3.6 倍的增益落差。
  5. 教师奖励的鲁棒性:把 Table II 的 20+ 项奖励做逐项消融,验证 HOVER 的通用性究竟来自运动先验,还是仅仅来自稠密监督相对稀疏奖励的低方差优势。这决定了方法能否迁移到没有高质量 MoCap 数据的机器人形态上。
  6. 跨形态泛化:当前结论绑定 19-DoF H1。统一命令空间在自由度更多(带手指、带腰部额外关节)的平台上是否仍保持原子性,需要重新验证掩码划分表。

参考资料

  • 主论文:T. He et al., HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots, arXiv:2410.21229v2, 2025. https://arxiv.org/abs/2410.21229
  • 项目页:https://hover-versatile-humanoid.github.io
  • 关键引用:[9] OmniH2O (arXiv:2406.08858) · [10] H2O (arXiv:2403.04436) · [12] ExBody (arXiv:2402.16796) · [13] HumanPlus (arXiv:2406.10454) · [17] AMASS (ICCV 2019) · [18] PPO (arXiv:1707.06347) · [21] MHC (arXiv:2408.07295) · [22] DAgger (AISTATS 2011) · [23] Isaac Gym (arXiv:2108.10470) · [24] Unitree H1 · [44] MaskedMimic (TOG 2024)

本文所有数值均取自上述 PDF 的 Table I–V 与正文,标注"本文计算/推演"的比值为基于原表均值重新推导,未在论文中直接给出。伪代码为依据 Section II 与 Figure 2 的教学性重建,非官方实现。对 Table IV 中疑似排版错误的单元格已在第 5 节显式标注。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐