HOVER 深度解析:用一个通用策略吃下人形机器人十几种控制模式
title: “HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots”
authors: “Tairan He*, Wenli Xiao*, Toru Lin, Zhengyi Luo, Zhenjia Xu, Zhenyu Jiang, Jan Kautz, Changliu Liu, Guanya Shi, Xiaolong Wang, Linxi ‘Jim’ Fan†, Yuke Zhu†”
institutions: “NVIDIA (GEAR Lab), CMU, UC Berkeley, UT Austin, UC San Diego”
arxiv: “arXiv:2410.21229v2 [cs.RO], 2025-03-06”
project: “https://hover-versatile-humanoid.github.io”
source: “8 页正文 + 参考文献,无附录、无开源代码链接”
hardware: “Unitree H1, 19-DoF, ≈51.5 kg, ≈1.8 m”
从「每种任务训一个控制器」到「一套语法覆盖所有模式」——把特权运动先验蒸馏进一个可掩码的通用策略,以及它和视频编解码器设计有多像。
1. 介绍
1.1 摘要先行
本文分析 HOVER(Humanoid Versatile Controller),NVIDIA GEAR 团队 2024 年 10 月提交、2025 年 3 月更新至 v2 的人形机器人全身控制工作。核心结论先行:
- 问题:导航要跟踪 root 速度,桌面操作要跟踪上半身关节角,遥操作要跟踪关键点三维位置。三者命令空间互不相容,既有做法为每种模式单独训练一个 RL 策略,导致重复训练、无法切换、上层策略被迫适配多种接口。
- 洞察:全身运动学运动模仿(full-body kinematic motion imitation)可以作为所有控制模式的公共抽象。一个能模仿任意人体动作的"特权教师",天然包含了平衡、协调、肢体精确控制这些被所有模式共享的运动技能。
- 方法:先训练 Oracle 策略(PPO,特权观测,跟踪重定向后的 AMASS 全身体数据),再用 DAgger 动作级蒸馏把教师能力压进一个学生策略;学生命令输入经过 mode mask + sparsity mask 两级二值掩码,每个 bit 独立采样自 B ( 0.5 ) \mathcal{B}(0.5) B(0.5),episode 起始采样、episode 内固定。
- 规模:在 19-DoF 的 Unitree H1 上支持 15 种以上实用控制模式,覆盖 ExBody、H2O、OmniH2O、HumanPlus、MHC 等前作的全部命令设计。
- 结果:仿真中在同一策略、四种既有模式下,每个模式至少在 12 项指标中的 7 项上优于单独训练的 specialist;相对 Multi-Mode RL 基线在 32/32(4 指标 × 8 模式)上误差更低;真机 20 段站立动作上 11/12 指标优于 specialist。ExBody 模式下全局位置误差从 275 mm 降到 185 mm(−32.7%)。
需要指出的是,本文的"通用"是命令接口层的通用,不包含自动模式选择——论文结论明确把 automated mode-switching module 列为 future work,Figure 6 的无缝切换靠外部人为指定掩码实现。这一点决定了它的能力边界,后文第 5 节会展开。
1.2 问题定义:命令空间碎片化
人形机器人是典型的"一套硬件、多种任务"。论文把既有工作的控制模式归为三类:
| 模式类别 | 命令内容 | 典型用途 | 代表工作 |
|---|---|---|---|
| Root 跟踪 | 根速度、高度、roll/pitch/yaw | 导航、不平地面行走 | [5, 6, 19, 20] |
| 局部关节角跟踪 | 各电机目标角度 | 表达性动作、影子模仿 | [12, 13, 1] |
| 运动学位置跟踪 | 关键刚体点的三维位置 | 遥操作、loco-manipulation | [9, 10, 38] |
三类模式在同一个 19-DoF 硬件上跑,却各自定义了观测格式、目标格式和奖励结构。后果有三层:
- 开发层:每加一种任务就要重跑一遍 RL 训练,包括奖励调参、域随机化、sim-to-real 验证。Table II 光是 Oracle 的奖励项就有 20 余条,权重跨 8 个数量级( 1.1 × 10 − 5 1.1\times10^{-5} 1.1×10−5 到 3 × 10 3 3\times10^{3} 3×103),复制这套工程的成本不低。
- 接口层:预训练的操作策略 [15, 16] 可能输出关节角,也可能输出末端位姿;控制器接口不统一,上层必须为每个下层控制器写适配层。
- 运行层:一台机器人在不平地面用 root 速度模式走着,下一秒要切换到需要精确双手操作的任务,两个策略之间没有任何连续过渡的保证。状态分布不同、价值函数不同,直接换策略等于把系统扔进一个从未训练过的初始状态。
论文的第一句关键判断是:尽管控制接口不同,底层运动目标往往一致——稳定、类人的全身运动。这句话是整篇工作的支点。只要存在一个策略能产生"稳定且类人"的运动,那么任何一种命令模式都只是对这个策略的部分观测约束。
1.3 为什么"直接把三种命令拼起来"不成立
直觉方案是把三类命令串成一个大向量,训一个条件策略。论文没有走这条路,原因在第 2.2 节的 Atomicity 判据里可以反推:
- 不同命令的维度、量纲、坐标系不同:关节角是 rad、关键点位置是 m、root 速度是 m/s,直接拼接后奖励加权与归一化尺度难以统一;
- 不同命令存在信息冗余与冲突:给定全部关节角,通过正运动学就能算出所有关键点位置;同时给两者等于给网络一个需要自行学会一致性的冗余约束;
- 更重要的是缺失语义:某个任务下"只给左手位置"和"给零向量"必须被明确区分。没有掩码,网络无法判断某个分量是「真值为零」还是「本模式不提供」。
HOVER 的解法是把"提供哪些命令"本身编码成显式二值掩码,与命令值一起送进策略。这实际上是把控制模式从网络结构问题变成了输入语法问题。
1.4 与视频编解码设计的同构性
对熟悉 H.264/AV1/VVC 的读者,这里有一个几乎一一对应的结构,后文会反复用到:
- 标准不会为 intra、inter、skip、affine 各写一套独立解码器,而是定义一套码流语法 + 一组预测模式标志位,解码器按标志位选择重建路径;HOVER 用 mode/sparsity mask 做同一件事。
- 编码端能看原始像素,解码端只有已重建像素——编码端/解码端信息不对称;Oracle 能看全部刚体位姿与线/角速度(privileged proprioception),学生只有关节角、角速度、重力向量和动作历史。
- 解码器靠 DPB(Decoded Picture Buffer)里的参考帧补回编码端没传的信息;学生靠堆叠 25 步历史隐式估计被掩码掉的状态。
这个类比不是修辞,它能给出可检验的预测:命令越稀疏,学生就越依赖历史缓冲做"时间外推";而只给 root 速度、不给绝对位置的模式,会因为积分漂移在全局位置指标上吃亏。第 7.3 节的数据恰好验证了这两点。当然类比有边界,第 2.8 节会明确划出来。
1.5 本文组织
第 2 节按模块拆原理;第 3 节给出全部关键公式与符号;第 4 节用 ASCII 图与表格还原 Figure 1/2 及命令空间矩阵;第 5 节是范式级与工程级踩坑点(含论文表格与正文结论的若干处不一致);第 6 节在无官方源码的前提下按 Section II 重建伪代码与超参数表;第 7 节汇总全部定量结果并做二次分析;第 8 节给结论与开放问题。
2. 原理
2.1 两阶段总体架构
HOVER 是标准的 teacher–student 两阶段流水线,中间用一层掩码做"模式注入":
阶段 A ── Oracle 训练(RL / PPO,特权观测,全身体运动模仿)
输入:s^p-oracle(全部刚体位姿/速度)+ s^g-oracle(下一帧完整参考)
输出:a_t ∈ R^19(PD 目标关节位置)
监督:Table II 的 20+ 项奖励 + AMASS 重定向数据集 Q̂
阶段 B ── HOVER 蒸馏(DAgger / 监督学习,可部署观测)
输入:s^p-student(关节传感 + 25 步历史)+ M ⊙ s^g-student(掩码命令)
输出:a_t ∈ R^19
监督:L = ‖â_t − a_t‖²,â_t 来自同一时刻 Oracle 的查询
关键设计在于阶段 B 完全不碰奖励。学生只做动作回归,误差信号来自教师,而不是环境回报。这带来两个直接后果:
- 蒸馏阶段不需要为 15+ 种模式分别设计奖励。奖励工程的复杂度被封在阶段 A 一次性付清。
- 学生学的是"教师在这个状态下会怎么动",而不是"怎样把某个稀疏指标的折扣回报最大化"。前者是稠密、低方差、逐帧的监督信号;后者是稀疏、高方差、需要信用分配的信号。第 7.5 节中 HOVER 对 Multi-Mode RL 的 32/32 全胜,主要来自这个差别。
2.2 命令空间:Generality 与 Atomicity
论文给出两条设计判据,值得逐条看:
Generality(通用性):命令空间要覆盖既有配置,使通用控制器能替换专用控制器而不掉性能;同时要能对接真实输入设备——Figure 1 左侧列了 VR 头显、RGB 相机、外骨骼、机械臂主控、MoCap、手柄六类。这实际上是要求命令空间成为设备无关的中间表示:任何前端只要能产出「关键点三维位置 / 关节角 / root 六维量」中的某个子集,就能接入。
Atomicity(原子性):命令维度彼此独立,可任意组合。这条是掩码机制成立的数学前提——如果维度之间存在硬耦合(比如某个关键点位置必须由某组关节角决定),那么任意子集采样会产生物理上不可实现的命令组合。
最终命令空间由 2 个区域 × 3 类命令构成:
| 类别 | 内容 | 记为 |
|---|---|---|
| Kinematic Position Tracking | 关键刚体点的目标三维位置(torso、head、左右 ankle、左右 hand、肩、肘等) | s g -kin s^{g\text{-kin}} sg-kin |
| Local Joint Angle Tracking | 每个电机的目标角度(Motor-0 … Motor-18,共 19 维) | s g -joint s^{g\text{-joint}} sg-joint |
| Root Tracking | 目标 root 速度、高度、roll、pitch、yaw | s g -root s^{g\text{-root}} sg-root |
上半身与下半身各自独立施加掩码。这个「上下半身解耦」不是随意切的:ExBody 模式正是上半身给关节角、下半身给 root 速度;H2O 模式是上半身给 6 个关键点、下半身给 2 个 ankle 点。不解耦就无法把这两种模式表达成同一向量的不同子集。
Table I 的覆盖关系(✓ 表示支持):
| 控制器 | 多模式 | 上半身-位置 | 上半身-关节角 | 下半身-位置 | 下半身-关节角 | Root |
|---|---|---|---|---|---|---|
| ExBody [12] | ✗ | ✗ | ✓ | ✗ | ✗ | ✓ |
| H2O [10] | ✗ | ✓ | ✗ | ✓ | ✗ | ✗ |
| OmniH2O [9] | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
| HumanPlus [13] | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ |
| MHC [21] | ✓ | ✗ | ✓ | ✗ | ✓ | ✓ |
| HOVER | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
由此可得:既有工作都是这个统一空间在特定掩码下的子集。MHC 虽支持多模式,但只覆盖关节角与 root 两类,且不支持任意子集选择。HOVER 的新增价值不在"又多了一种模式",而在把模式本身变成可采样的输入变量。
2.3 动作重定向:AMASS → Q ^ \hat{Q} Q^
教师的数据来自 AMASS [17]。人体骨架与 19-DoF 的 H1 拓扑、连杆长度、关节限位都不同,直接把 SMPL 关节角灌给机器人会得到大量物理不可行的动作。论文沿用 H2O [10] 的三步重定向:
- Step-1:用正运动学从机器人关节配置算出各关键点在工作空间中的位置。
- Step-2:优化 SMPL 参数,使 SMPL 模型的关键点对齐 Step-1 算出的机器人关键点。这一步等价于求一个「人体骨架 → 机器人骨架」的形状/姿态映射。
- Step-3:在拟合后的 SMPL 与机器人之间做对应关键点匹配,用梯度下降把 AMASS 序列重定向为机器人关节序列。
随后执行 “sim-to-data” 过滤:把重定向结果放进仿真里跑一遍,只保留机器人能物理完成的轨迹,得到 Q ^ \hat{Q} Q^。这一步非常重要——它把「模仿人体动作」的不良设定(大量不可行动作)提前剪掉,否则 Oracle 的 RL 会在不可行目标上浪费大量样本,甚至学会用倒地来最小化姿态误差。论文在实验里用 Q ^ \hat{Q} Q^ 同时作为训练集与评测集,这一点在第 5 节会讨论其统计含义。
2.4 Oracle 策略:把运动先验集中在一个模型里
Oracle 是一个目标条件 RL 策略 π oracle ( a t ∣ s t p -oracle , s t g -oracle ) \pi_{\text{oracle}}(a_t \mid s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) πoracle(at∣stp-oracle,stg-oracle),训练目标是逐帧跟踪实时人体动作。
观测是特权的: s t p -oracle s_t^{p\text{-oracle}} stp-oracle 包含人形机器人所有刚体的位置 p t p_t pt、朝向 θ t \theta_t θt、线速度 p ˙ t \dot p_t p˙t、角速度 ω t \omega_t ωt,以及上一步动作 a t − 1 a_{t-1} at−1。这些量在仿真里可以精确读取,真机上要么没有传感器、要么噪声大、要么需要状态估计器。 s t g -oracle s_t^{g\text{-oracle}} stg-oracle 则包含完整参考姿态 ( θ ^ t , p ^ t ) (\hat\theta_t, \hat p_t) (θ^t,p^t) 以及参考与当前状态在所有刚体上的单帧差分。也就是说,教师拿到的是"当前全身状态 + 下一帧全身目标 + 二者残差"——信息量接近无损参考帧。
动作是 PD 目标关节位置: a t ∈ R 19 a_t \in \mathbb{R}^{19} at∈R19,送进 PD 控制器驱动 19 个自由度。注意这里不是力矩控制,也不是直接设关节角;策略只输出目标位置,由底层 PD 伺服吸收动力学。这个分层把"高频稳定"交给确定性控制器,RL 只需学目标轨迹,是近年人形控制的标准做法。
网络与优化:三层 MLP,隐层 [ 512 , 256 , 128 ] [512, 256, 128] [512,256,128],PPO [18],最大化 E [ ∑ t = 1 T γ t − 1 r t ] \mathbb{E}[\sum_{t=1}^{T}\gamma^{t-1}r_t] E[∑t=1Tγt−1rt]。论文明确说明网络结构与域随机化沿用 OmniH2O [9],未在本文重复给出超参数。
奖励分三类(Table II,完整数值见第 6.6 节):penalty(力矩越限、关节位置/速度越限、termination)、regularization(关节加速度、动作变化率、脚部姿态/接触力/打滑/腾空、步高上限)、task reward(关节位置/速度、body 位置/旋转/线速度/角速度、root 速度/旋转)。其中 Feet air time 权重 + 1 × 10 3 +1\times10^3 +1×103 是唯一正值,其余 regularization 与 penalty 全为负——步态节奏先验实际上是通过这一项硬编码进教师的。
由此可得教师的定位:它不是"某个任务的策略",而是一个带完整状态观测的运动先验发生器。所有下游模式共享的物理知识(保持平衡、类人协调、精确肢体控制)都压在这个网络的权重里。
2.5 学生策略:观测降级 + 25 步历史
学生 π student ( s t p -student , s t g -student ) \pi_{\text{student}}(s_t^{p\text{-student}}, s_t^{g\text{-student}}) πstudent(stp-student,stg-student) 的本体观测被严格限制为真机可得量:
s t p -student ≜ [ q , q ˙ , ω base , g ] t − 25 : t ∪ [ a t − 25 : t − 1 ] s_t^{p\text{-student}} \triangleq [q,\ \dot q,\ \omega_{\text{base}},\ g]_{t-25:t} \cup [a_{t-25:t-1}] stp-student≜[q, q˙, ωbase, g]t−25:t∪[at−25:t−1]
即关节位置 q q q、关节速度 q ˙ \dot q q˙、基座角速度 ω base \omega_{\text{base}} ωbase、重力向量 g g g,以及动作历史,连续堆叠最近 25 步。注意这里没有全局位置、没有全局线速度、没有各刚体位姿——真机上这些量需要里程计或外部 MoCap,不可靠。
25 步历史承担的功能值得单独说。教师判断"下一步该动哪个关节"时依赖的是完整的刚体位姿和速度;学生看不到这些,只能从 25 步的关节角、角速度、重力方向和自己过去发出的动作里,隐式推断当前的基座姿态、接触状态、质心速度。这本质上是一个在网络隐状态里实现的隐式状态估计器,或者说一阶以上的时间外推。把它和解码器用 DPB 中的参考帧做运动补偿对照,机制上是一致的:都是用已重建的历史补回未被传输的当前状态信息。
代价是推理输入维度被放大 25 倍,且策略对历史窗口的时序对齐极其敏感——任何部署侧的丢帧、时间戳抖动、控制频率偏差都会让历史缓冲与训练分布错开。第 5 节会把它列为 sim-to-real 的主要工程风险之一。
2.6 两级掩码:mode mask 与 sparsity mask
学生的命令输入定义为:
s t g -student ≜ M sparsity ⊙ [ M mode ⊙ s t g -upper , M mode ⊙ s t g -lower ] s_t^{g\text{-student}} \triangleq M_{\text{sparsity}} \odot \big[\,M_{\text{mode}}\odot s_t^{g\text{-upper}},\ M_{\text{mode}}\odot s_t^{g\text{-lower}}\,\big] stg-student≜Msparsity⊙[Mmode⊙stg-upper, Mmode⊙stg-lower]
两级掩码职责不同:
- M mode M_{\text{mode}} Mmode(模式掩码):在上下半身上独立选择命令类别。上半身可以选运动学位置,下半身同时选关节角 + root。这一步决定"这个模式属于三大类中的哪一类组合"。
- M sparsity M_{\text{sparsity}} Msparsity(稀疏掩码):在已选类别内部进一步选择具体维度。例如上半身只跟踪左右手的关键点位置,下半身只跟踪 torso 的关节角。用它表达 H2O(8 个关键点)、OmniH2O(head + 双手 3 个点)、left-hand-only(1 个点)这类关键点稀疏度差异。
每个 bit 独立采样自 Bernoulli B ( 0.5 ) \mathcal{B}(0.5) B(0.5),在 episode 开始时采样、整个 episode 内保持固定。这个"episode 内固定"是必要设计:如果逐帧随机换掩码,策略观测到的命令会变成高频跳变,既不符合真实遥操作场景(一个操作会话里输入设备是固定的),也会让网络学会忽略命令、只靠历史外推。
从组合数看:设完整命令向量维度为 D D D, B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 的稀疏掩码理论上覆盖 2 D 2^{D} 2D 种子集。即便只算论文列出的固定模式也有 15+ 种(ExBody、HumanPlus、H2O、OmniH2O,加上 left-hand / right-hand / two-hands / head / root-pitch / full-body-kinematics 等)。训练时不可能枚举全部组合, B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 随机采样配合 episode 级随机化,本质上是对模式分布做重要性未知的蒙特卡洛覆盖——这也解释了为什么稀疏模式的收益并不均匀(第 7.4 节)。
2.7 DAgger 蒸馏:为什么是 on-policy 的动作回归
蒸馏采用 DAgger [22] 而非一次性行为克隆:
- 每个 episode rollout 学生策略,得到轨迹 ( s t p -student , s t g -student ) (s_t^{p\text{-student}}, s_t^{g\text{-student}}) (stp-student,stg-student)——注意数据来自学生的状态分布,不是教师的;
- 每个时间步,用仿真器的特权信息同步算出对应的 Oracle 状态 ( s t p -oracle , s t g -oracle ) (s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) (stp-oracle,stg-oracle);
- 查询教师得到参考动作 a ^ t = π oracle ( s t p -oracle , s t g -oracle ) \hat a_t = \pi_{\text{oracle}}(s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}) a^t=πoracle(stp-oracle,stg-oracle);
- 以 L = ∥ a ^ t − a t ∥ 2 2 \mathcal{L} = \|\hat a_t - a_t\|_2^2 L=∥a^t−at∥22 更新学生。
第 1 步是 DAgger 的灵魂。若只在教师轨迹上做行为克隆,学生一旦因微小误差偏离教师状态分布,就会进入没有标注的区域并持续漂移(协变量偏移)。DAgger 让学生在自己会访问的状态上反复获取教师标注,把分布 mismatch 在线纠正回来。这里有一个巧妙之处:教师查询用的是与学生同一时刻、同一物理状态的特权观测,所以 a ^ t \hat a_t a^t 是"如果教师处在我现在这个状态,它会怎么做",而不是"教师在自己轨迹上的历史动作"。后者在状态已经偏离时是错误的监督目标。
另外要区分两种"通用"路线:Multi-Mode RL 基线用同样的掩码机制,但从零用 RL 目标训练。它没有教师,必须靠一个随模式变化的稀疏奖励自己发现"什么是稳定类人的运动"。HOVER 则把这部分知识作为监督信号直接注入。第 7.5 节的 32/32 结果说明,在同等掩码设计下,监督信号的来源才是决定性变量,掩码本身不是。
2.8 从编解码器视角重读整套设计
把上面的模块平移到码流设计,可以得到一张相当整齐的对照表:
| 视频编解码 | HOVER | 说明 |
|---|---|---|
| 编码端可见原始像素 | Oracle 的 privileged proprioception | 信息优势只在训练/离线侧存在 |
| 解码端仅可见重建像素 | Student 的 proprioception | 部署侧观测受限 |
| DPB 参考帧缓冲 | 25 步历史堆叠 [ q , q ˙ , ω , g ] t − 25 : t [q,\dot q,\omega,g]_{t-25:t} [q,q˙,ω,g]t−25:t | 用历史补回未传输的状态 |
| 预测模式标志位 / CU 划分 | M mode M_{\text{mode}} Mmode、 M sparsity M_{\text{sparsity}} Msparsity | 模式作为输入语法,不是独立模型 |
| 一套语法支持多种预测模式 | 一个网络支持 15+ 控制模式 | 避免 N 套 codec / N 套策略 |
| 提供绝对位置还是仅 MV | root 位置跟踪 vs root 速度跟踪 | 后者存在积分漂移 |
| 教师强制 / 参考帧监督 | DAgger 的 a ^ t \hat a_t a^t 硬标签 | 稠密逐帧监督,低方差 |
| 码率 R ↔ 失真 D 折衷 | 命令稀疏度 ↔ 跟踪误差 | 一个策略覆盖整条 R-D 曲线族 |
由此可以推出两个可检验的判断,而论文数据确实支持:
判断一:全局位置误差 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe 对命令稀疏度远比局部 MPJPE E mpjpe E_{\text{mpjpe}} Empjpe 敏感。原因是局部姿态可以由 25 步历史很好地外推,而全局平移没有绝对锚点时会累积漂移。数据:H2O 模式(跟踪 ankle 三维位置,锚定全局)HOVER 的 E g -mpjpe = 121 E_{g\text{-mpjpe}}=121 Eg-mpjpe=121 mm,几乎贴上 Oracle 上界 119 mm;ExBody 模式(只给 root 速度)则是 185 mm,比上界高 55.5%。两者的 E mpjpe E_{\text{mpjpe}} Empjpe 却分别是 60.6 与 63.9 mm,差距不到 6%。
判断二:只给 root 速度相当于只传运动矢量不给绝对坐标,长时域积分必然漂移。ExBody 与 HumanPlus 两种含 root-velocity 的模式, E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe 分别是 185、182 mm;而含关键点绝对位置的 H2O、OmniH2O 是 121、128 mm。差距在 40% 以上,且这一规律在 specialist 上也成立(275/266 vs 137/149),说明它是命令空间的信息性质决定的,不是蒸馏方法引入的。
类比边界必须说清楚,否则会误导:编解码器有精确的重建目标和可解析的 R-D 优化,HOVER 的"失真"是动作回归误差,与最终任务成功率之间隔着 PD 伺服、接触动力学和执行器延迟;码流的模式标志位由编码器显式优化选择,HOVER 的掩码由外部在 episode 起始给定,网络不参与选择。把 HOVER 说成"自动学会了模式调度"是错的。
3. 公式
本节汇总论文给出的全部关键公式,并补充两组为便于工程理解而做的形式化推演(会明确标注)。
3.1 目标条件 RL 的优化目标
策略 π \pi π 的状态由本体观测与目标状态组成:
s t = [ s t p , s t g ] , r t = R ( s t p , s t g ) , a t ∈ R 19 s_t = \big[s_t^{p},\ s_t^{g}\big], \qquad r_t = R\big(s_t^{p},\ s_t^{g}\big), \qquad a_t \in \mathbb{R}^{19} st=[stp, stg],rt=R(stp, stg),at∈R19
PPO 最大化累计折扣回报:
J ( π ) = E τ ∼ π [ ∑ t = 1 T γ t − 1 r t ] , π ∗ = arg max π J ( π ) J(\pi) = \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=1}^{T} \gamma^{t-1} r_t\right], \qquad \pi^* = \arg\max_{\pi} J(\pi) J(π)=Eτ∼π[t=1∑Tγt−1rt],π∗=argπmaxJ(π)
符号: T T T 为 episode 长度, γ ∈ ( 0 , 1 ) \gamma \in (0,1) γ∈(0,1) 为折扣因子, r t r_t rt 为逐帧奖励, a t a_t at 的 19 维对应 H1 的 19 个关节目标位置。论文未给出 γ \gamma γ、 T T T 的具体数值。
3.2 Oracle 的状态构造
特权本体观测:
s t p -oracle ≜ [ p t , θ t , p ˙ t , ω t , a t − 1 ] s_t^{p\text{-oracle}} \triangleq \big[\,p_t,\ \theta_t,\ \dot p_t,\ \omega_t,\ a_{t-1}\,\big] stp-oracle≜[pt, θt, p˙t, ωt, at−1]
- p t p_t pt:所有刚体的位置; θ t \theta_t θt:所有刚体的朝向(四元数或等价旋转表示);
- p ˙ t \dot p_t p˙t、 ω t \omega_t ωt:线速度、角速度;
- a t − 1 a_{t-1} at−1:上一时刻动作。
目标状态(含参考姿态与单帧差分):
s t g -oracle ≜ [ θ ^ t + 1 ⊖ θ t , p ^ t + 1 − p t , v ^ t + 1 − v t , ω ^ t + 1 − ω t , θ ^ t , p ^ t ] s_t^{g\text{-oracle}} \triangleq \big[\,\hat\theta_{t+1} \ominus \theta_t,\ \ \hat p_{t+1} - p_t,\ \ \hat v_{t+1} - v_t,\ \ \hat\omega_{t+1} - \omega_t,\ \ \hat\theta_t,\ \ \hat p_t\,\big] stg-oracle≜[θ^t+1⊖θt, p^t+1−pt, v^t+1−vt, ω^t+1−ωt, θ^t, p^t]
- ⊖ \ominus ⊖ 表示旋转流形上的相对旋转(不是欧氏减法,四元数需用 θ ^ ⋅ θ − 1 \hat\theta \cdot \theta^{-1} θ^⋅θ−1 之类形式);
- 带帽 ⋅ ^ \hat{\cdot} ⋅^ 为参考(重定向后的 Q ^ \hat Q Q^ 轨迹);
- 前四项是「下一帧参考 − 当前状态」的残差,后两项是参考姿态本身。
值得强调的是这个"绝对值 + 残差"双份设计:残差项直接给出跟踪误差的方向,等价于给网络预先算好了一阶误差信号;绝对值项保留全局构型信息,避免仅靠残差无法区分不同姿态。用编解码的话说,就是同时传了残差和参考帧本身。
3.3 Oracle 奖励的分解
r t = r t pen + r t reg + r t task = ∑ i w i pen ϕ i ( s t ) + ∑ j w j reg ψ j ( s t ) + ∑ k w k task φ k ( s t ) r_t = r_t^{\text{pen}} + r_t^{\text{reg}} + r_t^{\text{task}} = \sum_i w_i^{\text{pen}}\phi_i(s_t) + \sum_j w_j^{\text{reg}}\psi_j(s_t) + \sum_k w_k^{\text{task}}\varphi_k(s_t) rt=rtpen+rtreg+rttask=i∑wipenϕi(st)+j∑wjregψj(st)+k∑wktaskφk(st)
Table II 给出全部权重,量级跨度极大:最小 ∣ ω ∣ = 1.1 × 10 − 5 |\omega|=1.1\times10^{-5} ∣ω∣=1.1×10−5(DoF acceleration),最大 3 × 10 3 3\times10^{3} 3×103(Max feet height per step,负)。这类奖励的典型实现是 task reward 用指数核 exp ( − σ ⋅ e ) \exp(-\sigma \cdot e) exp(−σ⋅e) 把误差映射到 ( 0 , 1 ] (0,1] (0,1],penalty 与 regularization 直接用二次项或指示函数再乘权重;否则跨 8 个数量级的项直接相加会被最大项主导。论文未写明核函数形式,此处为按其权重结构给出的工程推断。
3.4 学生观测与两级掩码
学生本体观测(25 步历史):
s t p -student ≜ [ q , q ˙ , ω base , g ] t − 25 : t ∪ [ a t − 25 : t − 1 ] s_t^{p\text{-student}} \triangleq \big[\,q,\ \dot q,\ \omega_{\text{base}},\ g\,\big]_{t-25:t} \ \cup\ \big[\,a_{t-25:t-1}\,\big] stp-student≜[q, q˙, ωbase, g]t−25:t ∪ [at−25:t−1]
学生命令输入:
s t g -student ≜ M sparsity ⊙ [ M mode ⊙ s t g -upper , M mode ⊙ s t g -lower ] s_t^{g\text{-student}} \triangleq M_{\text{sparsity}} \odot \Big[\, M_{\text{mode}} \odot s_t^{g\text{-upper}},\ \ M_{\text{mode}} \odot s_t^{g\text{-lower}} \,\Big] stg-student≜Msparsity⊙[Mmode⊙stg-upper, Mmode⊙stg-lower]
掩码元素的采样规则:
m i ∼ B ( 0.5 ) , i = 1 , … , D ; M ( t ) ≡ M ( t 0 ) , ∀ t ∈ [ t 0 , t 0 + T ] m_i \sim \mathcal{B}(0.5),\quad i = 1,\dots,D; \qquad M(t) \equiv M(t_0),\ \ \forall\, t \in [t_0,\, t_0+T] mi∼B(0.5),i=1,…,D;M(t)≡M(t0), ∀t∈[t0,t0+T]
即每个 bit 独立伯努利采样,episode 内恒定。 ⊙ \odot ⊙ 为逐元素乘(Hadamard 积),被遮掉的分量置零。
一个必须显式处理的细节:掩码为 0 的位置既可能是"该模式不提供此命令",也可能是"提供的目标值恰好为 0"。若只把命令向量送进去而不送掩码本身,网络无法区分二者。论文 Figure 1/2 把 Kinematic Masks / Joint Masks / Root Masks 画成与命令并列的三组虚线框,说明掩码是作为输入的一部分送入策略的,而不只是对命令做预处理。用编解码术语说:模式标志位必须写进码流,不能只体现在残差数值上。
3.5 DAgger 蒸馏损失与数据聚合
每个时间步查询教师并回归:
a ^ t = π oracle ( s t p -oracle , s t g -oracle ) , L = ∥ a ^ t − a t ∥ 2 2 = ∑ d = 1 19 ( a ^ t , d − a t , d ) 2 \hat a_t = \pi_{\text{oracle}}\big(s_t^{p\text{-oracle}},\ s_t^{g\text{-oracle}}\big), \qquad \mathcal{L} = \big\|\hat a_t - a_t\big\|_2^2 = \sum_{d=1}^{19}\big(\hat a_{t,d} - a_{t,d}\big)^2 a^t=πoracle(stp-oracle, stg-oracle),L= a^t−at 22=d=1∑19(a^t,d−at,d)2
数据集按 DAgger 迭代聚合:
D k + 1 = D k ∪ { ( s t p -student , s t g -student , a ^ t ) ∣ τ ∼ π student ( k ) } , θ k + 1 = arg min θ E ( s , a ^ ) ∼ D k + 1 [ L ] \mathcal{D}_{k+1} = \mathcal{D}_k \cup \Big\{ \big(s_t^{p\text{-student}},\ s_t^{g\text{-student}},\ \hat a_t\big) \ \Big|\ \tau \sim \pi_{\text{student}}^{(k)} \Big\}, \qquad \theta_{k+1} = \arg\min_\theta \mathbb{E}_{(s,\hat a)\sim\mathcal{D}_{k+1}}\big[\mathcal{L}\big] Dk+1=Dk∪{(stp-student, stg-student, a^t) τ∼πstudent(k)},θk+1=argθminE(s,a^)∼Dk+1[L]
把掩码的随机性写开(本文为便于理解做的等价展开,非论文原式),整体优化目标可写成对模式分布的期望:
min θ E M ∼ B ( 0.5 ) D E τ ∼ π θ ( ⋅ ∣ M ) E t ∥ π oracle ( s t p -oracle , s t g -oracle ) − π θ ( s t p -student , M ⊙ s t g ) ∥ 2 2 \min_\theta\ \mathbb{E}_{M \sim \mathcal{B}(0.5)^D}\ \mathbb{E}_{\tau \sim \pi_\theta(\cdot \mid M)}\ \mathbb{E}_{t}\ \Big\| \pi_{\text{oracle}}\big(s_t^{p\text{-oracle}}, s_t^{g\text{-oracle}}\big) - \pi_\theta\big(s_t^{p\text{-student}},\, M \odot s_t^{g}\big) \Big\|_2^2 θmin EM∼B(0.5)D Eτ∼πθ(⋅∣M) Et πoracle(stp-oracle,stg-oracle)−πθ(stp-student,M⊙stg) 22
这个形式清楚暴露了两处依赖: π θ \pi_\theta πθ 同时出现在采样分布和优化变量里(on-policy 依赖),而教师的查询状态与学生状态来自同一物理时刻但不同观测空间(信息不对称)。
3.6 评价指标
论文在仿真中报告 12 项指标,定义如下( J J J 为关键点集合, ⋅ ^ \hat{\cdot} ⋅^ 为参考):
E mpjpe = 1 ∣ J ∣ ∑ j ∈ J ∥ p ^ j root-rel − p j root-rel ∥ 2 ( mm ) E_{\text{mpjpe}} = \frac{1}{|J|}\sum_{j\in J}\big\| \hat p_j^{\text{root-rel}} - p_j^{\text{root-rel}} \big\|_2 \quad (\text{mm}) Empjpe=∣J∣1j∈J∑ p^jroot-rel−pjroot-rel 2(mm)
E g -mpjpe = 1 ∣ J ∣ ∑ j ∈ J ∥ p ^ j global − p j global ∥ 2 ( mm ) E_{g\text{-mpjpe}} = \frac{1}{|J|}\sum_{j\in J}\big\| \hat p_j^{\text{global}} - p_j^{\text{global}} \big\|_2 \quad (\text{mm}) Eg-mpjpe=∣J∣1j∈J∑ p^jglobal−pjglobal 2(mm)
- E mpjpe E_{\text{mpjpe}} Empjpe 是 root-relative,把根平移扣掉后再算,衡量"姿态像不像";
- E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe 在全局坐标系算,包含根的整体漂移,衡量"位置准不准"。
其余指标: E upper-j E_{\text{upper-j}} Eupper-j、 E lower-j E_{\text{lower-j}} Elower-j 为上下半身关节角误差(rad); E root-vel E_{\text{root-vel}} Eroot-vel 为根速度误差(m/s); E root-h E_{\text{root-h}} Eroot-h 为根高度误差; E root-r E_{\text{root-r}} Eroot-r、 E root-p E_{\text{root-p}} Eroot-p、 E root-y E_{\text{root-y}} Eroot-y 为 roll/pitch/yaw 三分量误差(rad); E acc E_{\text{acc}} Eacc 为平均关节加速度误差(mm/frame²); E vel E_{\text{vel}} Evel 为速度误差(mm/frame)。Survive 为存活率,episode 在机器人以脚以外的部位触地时终止。
Table V 真机表里用的是合并指标 E root-rpy E_{\text{root-rpy}} Eroot-rpy,与 Table III 的三个分量不是同一个量,跨表比较时不能混用。
3.7 Figure 4 的归一化
论文把雷达图上的跟踪误差缩放为:
E ~ ( ⋅ ) = E max − E ( ⋅ ) E max − E min \tilde E(\cdot) = \frac{E_{\max} - E(\cdot)}{E_{\max} - E_{\min}} E~(⋅)=Emax−EminEmax−E(⋅)
误差越小 E ~ \tilde E E~ 越大,因此"雷达网面积越大越好"。 E max E_{\max} Emax、 E min E_{\min} Emin 的具体取法(在两种方法间取、在八个模式间取、还是全局取)论文没有说明。这个归一化会把微小的绝对差异放大成显眼的视觉差距,第 5 节会把它列为读图陷阱。
3.8 底层 PD 伺服
论文只说明 a t a_t at 是"target joint positions fed into the PD controller"。按标准位置伺服形式(通用形式,非论文给出的公式):
τ t = K p ( a t − q t ) − K d q ˙ t \tau_t = K_p \big(a_t - q_t\big) - K_d\,\dot q_t τt=Kp(at−qt)−Kdq˙t
K p K_p Kp、 K d K_d Kd 为对角增益矩阵,PD 以固定高频运行,RL/策略以较低频率输出目标位置。论文未给出增益、控制频率与策略频率,这是复现时最直接的空白之一。
4. 图示
4.1 Figure 1 还原:统一命令空间系统总览
┌──────────────────── Versatile Control Interface ────────────────────┐
│ VR │ RGB │ Exoskeleton │ Robot Arm │ MoCap │ Joysticks │
└───────────────────────────┬─────────────────────────────────────────┘
│ (设备无关的中间表示)
Head-Hand │ Whole-Body │ Whole-Body │ Upper-Body │ Root
Poses │ Poses │ Joints │ Joints │ Commands
▼
╔══════════════════ Versatile Multi-Mode Command Space ══════════════════╗
║ [蓝] Kinematic Position Tracking Kinematic Masks ║
║ Torso pos │ Head pos │ L/R ankle pos │ L/R hand │ shoulder │ elbow║
║ [黄] Local Joint Angle Tracking Joint Masks ║
║ Motor-0 angle … Motor-18 angle (19-DoF) ║
║ [紫] Root Tracking Root Masks ║
║ target root velocity │ height │ pitch │ yaw │ roll ║
╚═══════════════════════════════┬═════════════════════════════════════╝
▼ s^p-student + (M ⊙ s^g-student)
┌───────────────────────────────────┐
│ Humanoid Versatile Controller │
│ (HOVER) │
│ 3-layer MLP → a_t ∈ R^19 │
└───────────────┬───────────────────┘
▼ PD 位置伺服
[ 19-DoF Unitree H1 · 51.5 kg · 1.8 m ]
三组虚线框掩码与命令并列输入,是整套设计的语法层:高亮框表示当前激活的命令,掩码决定选择性激活哪些子空间。
4.2 Figure 2 还原:蒸馏流水线
Retargeted Motion Dataset Q̂
│
│ full reference motion (所有刚体、所有帧)
▼
┌──────────────────────── Goal State s^g ─────────────────────────┐
│ Body Keypoints │ Upper/Lower-Body │ Motor Joint │ Root │
│ Tracking Goal │ Tracking Goal │ Tracking Goal│ Tracking Goal│
└───────┬──────────────────┬──────────────────┬──────────┬────────┘
│ │ │ │
▼ Mode Mask ▼ Mode Mask ▼ ▼
[ 二分之一比特独立采样 B(0.5),episode 起始固定 ]
│ │ │ │
▼ Sparsity Mask(再抽一次 B(0.5)) │
│ │
┌─────┴───────────────┐ │
│ │ │
▼ ▼ ▼
┌─────────────┐ ┌──────────────────────────────────────────┐
│ HOVER Policy│ │ Oracle Policy │
│ (student) │ │ 输入 = Privileged Proprioception │
│ 输入 = │ │ + 完整 s^g-oracle │
│ Proprio- │ │ 训练 = PPO + Table II 奖励 │
│ ception │ └───────────────────┬──────────────────────┘
│ (25 步历史)│ │ â_t
└──────┬──────┘ │
│ a_t │
│ Supervised Learning: L = ‖â_t − a_t‖² (DAgger)
└──────────────◄───────────────┘
│
▼ Sim-to-Real Proprioception(真机部署)
注意 Oracle 分支始终使用完整目标状态,掩码只作用于学生分支。教师从不知道"当前是哪种模式"——它只是在模仿完整动作。把模式知识全部隔离在学生侧,是这套蒸馏能扩展到任意新掩码组合的前提。
4.3 命令模式与掩码配置表
按论文 Section III 列出的模式,把掩码配置显式写出来( ✓ \checkmark ✓ = 该子空间激活):
| 模式 | 上半身 | 下半身 | 关键点数 | 来源 |
|---|---|---|---|---|
| ExBody | 关节角 | root | — | [12] |
| HumanPlus | 关节角 | 关节角 + root | — | [13] |
| H2O | 6 关键点(双手/双肩/双肘) | 2 关键点(双踝) | 8 | [10] |
| OmniH2O | 3 关键点(头 + 双手) | 无 | 3 | [9] |
| Left Hand | 左手 1 点 | 无 | 1 | 本文新增 |
| Right Hand | 右手 1 点 | 无 | 1 | 本文新增 |
| Two Hands | 双手 2 点 | 无 | 2 | 本文新增 |
| Head | 头 1 点 | 无 | 1 | 本文新增 |
| Upper-Body Joint | 上半身关节角 | 无 | — | 真机 Figure 5 |
| Root Pitch | root pitch | 无 | — | 真机 Figure 5 |
| Full-Body Kinematics | 全身关键点 | 全身关键点 | 全量 | 真机 Figure 5 |
Figure 6 的两次运行中切换:(a) ExBody → H2O(前进行走),(b) HumanPlus → OmniH2O(转身 + 后退),© 三点 VR 遥操作 Two-Hands → Head → Left-Hand。这些都是外部 abrupt switch,不是策略自主决策。
4.4 状态空间维度对照
| Oracle(教师 / 离线) | HOVER(学生 / 部署) | |
|---|---|---|
| 本体观测 | 全部刚体 p , θ , p ˙ , ω p,\theta,\dot p,\omega p,θ,p˙,ω + a t − 1 a_{t-1} at−1 | q , q ˙ , ω base , g q,\dot q,\omega_{\text{base}},g q,q˙,ωbase,g + 动作历史 |
| 时间跨度 | 单帧 + 一帧差分 | 25 步堆叠 |
| 目标状态 | 完整参考姿态 + 全刚体残差 | 掩码后的稀疏命令子集 |
| 全局位置 | 可读 | 不可读 |
| 全局线速度 | 可读 | 不可读 |
| 仿真依赖 | 是(特权量来自仿真器) | 否 |
| 训练信号 | 20+ 项奖励 / PPO | 19 维动作 L2 / DAgger |
这张表是理解全文的钥匙:信息差全部集中在教师侧,学生侧靠时间维度(25 步)补偿空间维度(刚体位姿)的缺失。
4.5 Episode 内的时序
t0 episode 开始:采样 M_mode, M_sparsity ~ B(0.5),一次性固定
│
├─ t0 rollout student ──► 记录 (s^p-student, M⊙s^g)
│ 同步取仿真特权量 ──► (s^p-oracle, s^g-oracle)
│ 查询 oracle ──► â_t
│ L = ‖â_t − a_t‖² ──► 更新 student
├─ t0+1 …(掩码不变)
├─ …
└─ t0+T episode 结束(或摔倒终止);重新采样掩码
episode 内掩码恒定这一点,使得策略在每个 episode 里等价于一个"专用模式策略",但跨 episode 的参数是共享的。训练分布因此是模式上的混合分布,而不是时间上的切换分布——这解释了为什么论文验证的是"跨模式泛化"与"人为 abrupt switch 下的稳定性",而不是"高频自动切换"的能力。
5. 踩坑点
本节按「范式级」与「工程级」分类。范式级指由方法设定本身带来的、换实现也无法消除的限制;工程级指复现、读表、部署时会实际踩到的坑。所有与论文原表数字有关的分歧都给出具体单元格,便于交叉核对。
5.1 范式级
坑 1:教师—学生的信息不对称既是设计前提,也是性能天花板。
Oracle 依赖全部刚体位姿、线速度、角速度;学生只有关节传感、基座角速度、重力向量和 25 步历史。DAgger 把教师动作当硬标签,但学生无法显式观测教师据以决策的量,只能在隐状态里隐式估计。凡是超出 25 步历史可推断范围的教师行为(例如由未建模的接触事件触发的瞬时调整),对学生来说就是不可学习的标签噪声。类比到编解码:编码端用了但没写进码流的信息,解码器只能靠参考帧猜,猜不回来的部分就是不可压缩残差。论文没有给出这个上界的定量刻画,Oracle 行在 Table III 里只作为参照(
E
g
-mpjpe
=
119
E_{g\text{-mpjpe}}=119
Eg-mpjpe=119 mm),没有做"信息差 → 性能差"的消融。
坑 2:"统一"只在命令接口层,不在任务层。
HOVER 统一的是低层控制器接口,不含高层任务规划、模式选择或模式切换判据。结论段明确把 automated mode-switching module 列为 future work;Figure 6 的切换是外部 abrupt switch。因此不能把 HOVER 理解为"机器人自己会决定什么时候该用哪种控制模式"。此外,episode 内掩码固定意味着训练分布里没有模式跳变的样本,策略对切换的鲁棒性是零样本泛化出来的,不是训练目标。若要产品化,这一层必须另建。
坑 3:动作级 L2 蒸馏对齐的是一步动作,不是轨迹分布。
L
=
∥
a
^
t
−
a
t
∥
2
\mathcal{L}=\|\hat a_t-a_t\|^2
L=∥a^t−at∥2 逐帧独立,不含时序项、不含状态分布匹配项。DAgger 通过 on-policy 聚合缓解协变量偏移,但没有根除:一旦学生因小误差进入新状态,教师在该状态下给出的动作是"从该状态出发的最优一步",并不保证学生按这个动作走完一整段轨迹后仍留在可恢复区域。更麻烦的是
a
t
a_t
at 是 PD 目标位置,动作空间的小偏差会被接触动力学放大到状态空间。用编解码的话说,这是逐块优化失真而没做率失真意义上的全局码率分配。论文没有报告长时域漂移或摔倒前的平均存活时长,Survive 只给了一个总比例。
坑 4:奖励工程的复杂度被转移,不是被消除。
Table II 有 20+ 项、权重跨 8 个数量级,且 Feet air time 权重
+
10
3
+10^3
+103 是全表唯一正 regularization 项——步态节奏先验实际上是被硬编码进教师的。HOVER 的"通用性"完全建立在教师质量上;换机器人形态、换数据分布、换接触条件,仍需重训教师并重调这一整套奖励。论文把所有通用性收益归因为"共享运动先验",但没有做「换一个弱教师 / 换一套简化奖励」的消融,因而无法区分收益究竟来自运动先验本身,还是来自稠密监督信号相对稀疏 RL 奖励的方差优势。第 7.5 节的 Multi-Mode RL 对比只能证明后者的一部分。
坑 5:训练与评测共用
Q
^
\hat Q
Q^,泛化结论的范围受限。
仿真评测在重定向后的 AMASS 数据集
Q
^
\hat Q
Q^ 上做,与教师训练数据同源。Table III 的"泛化"实际是模式泛化(同一套动作,换命令子集),不是动作分布泛化(未见过的动作)。真机评测更进一步收窄到 20 段站立动作。对于动态跑动、外部扰动、复杂接触,论文只有 Figure 5/6 的定性展示,没有定量结果。
坑 6:命令越稀疏,全局位置越依赖不可观测的积分。
只给 root 速度的模式无法锚定绝对位置,长时域必然漂移。这不是蒸馏引入的缺陷,而是命令空间的信息性质:Table III 里含 root-velocity 的 ExBody / HumanPlus 模式,
E
g
-mpjpe
E_{g\text{-mpjpe}}
Eg-mpjpe 为 185 / 182 mm;含绝对关键点位置的 H2O / OmniH2O 为 121 / 128 mm。specialist 上同样成立(275 / 266 vs 137 / 149)。若应用要求绝对定位,选模式时必须显式避开纯速度模式,或外部补一个位置观测。
5.2 工程级
坑 7(重要):Table IV 有正文结论与表格数字不符的单元格。
正文 Section III-A 写 “the results in Table IV show that HOVER consistently outperforms specialists”,但逐格核对 4 模式 × 4 指标 = 16 项:
| 模式 | 指标 | Specialist | HOVER | 判定 |
|---|---|---|---|---|
| Left Hand | E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode | 147 | 151 | HOVER 更差 |
| Head | E acc-mode E_{\text{acc-mode}} Eacc-mode | 2.22 | 2.31 | HOVER 更差 |
其余 14 项 HOVER 占优。因此严格表述应是 14/16,而非 “consistently”。这两项恰好一个是局部姿态误差、一个是加速度误差,与 Table III 中 HOVER 在 E acc E_{\text{acc}} Eacc 上系统性偏弱的现象一致,不太像纯噪声。写综述或做对比实验时应自行按原表重算,不要直接引用正文的定性句。
坑 8(重要):Table IV 存在疑似排版/复制错误。
2 Hands Mode 中 Specialist 的
E
vel-mode
E_{\text{vel-mode}}
Evel-mode 记为 11.2 ± 0.004。同表所有其他
E
vel-mode
E_{\text{vel-mode}}
Evel-mode 的标准差都在
±
0.029
∼
±
0.152
\pm0.029 \sim \pm0.152
±0.029∼±0.152 区间,
±
0.004
\pm0.004
±0.004 比相邻值小一个数量级,量纲上不合理。同时 Left Hand Mode 的 Specialist
E
vel-mode
E_{\text{vel-mode}}
Evel-mode 均值也是 11.2(标准差
±
0.089
\pm0.089
±0.089)——两个不同模式、不同 specialist 策略,同一指标的均值完全撞车且都带 11.2,符合典型的表格复制粘贴错误特征。引用该单元格前应对照原始图或联系作者确认,不要把它当作可复现的基线数值。
坑 9:Table V 的 11/12 是正文自己点破的,引用时别写成全胜。
真机 HumanPlus Mode 的
E
root-rpy
E_{\text{root-rpy}}
Eroot-rpy:Specialist 0.035 vs HOVER 0.038,HOVER 更差。正文写 “outperforms specialist policies in 11 out of 12 metrics”,指的就是这一项。这一处正文是诚实的,但二次文献里常被写成"真机全面超越"。
坑 10:Table III 里 HOVER 在 E acc E_{\text{acc}} Eacc 上系统性更差,工程含义被低估。
| 模式 | Specialist E acc E_{\text{acc}} Eacc | HOVER E acc E_{\text{acc}} Eacc | 相对变化 |
|---|---|---|---|
| ExBody | 2.63 | 3.01 | +14.4% |
| HumanPlus | 2.53 | 2.85 | +12.6% |
| H2O | 2.63 | 2.73 | +3.8% |
| OmniH2O | 2.69 | 2.69 | 0% |
关节加速度误差上升意味着动作更"抖"。同时 E vel E_{\text{vel}} Evel(速度误差)HOVER 反而更小(如 ExBody 6.06 vs 6.31)。二者组合起来的解释是:HOVER 的位置/关节角跟踪更贴参考,但参考动作本身的高频分量被更忠实地复现,而 specialist 被自己的奖励平滑项磨掉了高频。在真机上这会转化为电机发热、齿轮冲击和能耗上升,论文没有报告功耗、力矩峰值或关节温度。同理 E root-vel E_{\text{root-vel}} Eroot-vel 上 HOVER 也常略差(ExBody 0.452 vs 0.428,HumanPlus 0.455 vs 0.422)。结论:HOVER 的优势集中在"像不像参考姿态",不是"运动是否更平顺"。
坑 11:Figure 3 / Figure 4 的数值与表格口径不完全一致。
PDF 文本层给出的 Figure 3 雷达图标注为 181.7 / 266.1 / 120.8 / 128.4 / 275.1 / 185.0,而 Table III 对应位置是 182 / 266 / 121 / 128 / 275 / 185;H2O Specialist 的局部 MPJPE 在雷达图附近出现 66.2,Table III 是 66.3。属于舍入或不同统计口径,量级一致。写表格时应统一以 Table III 为准并注明,避免两套数字混用。
坑 12:Figure 4 的归一化会放大微小差异,且原始数值未给出。
E
~
=
(
E
max
−
E
)
/
(
E
max
−
E
min
)
\tilde E=(E_{\max}-E)/(E_{\max}-E_{\min})
E~=(Emax−E)/(Emax−Emin) 用极值做缩放,若
E
max
−
E
min
E_{\max}-E_{\min}
Emax−Emin 较小,两个方法之间几个百分点的绝对差会被拉成雷达图上的显著面积差。正文宣称 “consistently lower tracking error across 32/32 metrics and modes”,但 Figure 4 的四个雷达图只标了部分数值,正文没有给出 8 模式 × 4 指标的原始误差表。也就是说这 32/32 的结论无法从论文给出的数值独立复核。此外
E
max
E_{\max}
Emax、
E
min
E_{\min}
Emin 是在两种方法间取还是跨模式取,论文未说明;取法不同会改变图形观感但不改变排序,属于典型的可视化自由度。
坑 13:两级表头与列语义极易读错。
page.get_text() 会把 Table III 的 “Kinematic Position / Joint Angle / Root” 两级合并表头压成一行散字,直接爬表很容易错列。正确列序为:
Survive | Eg-mpjpe | Empjpe | Eacc | Evel | Eupper-j | Elower-j | Eroot-vel | Eroot-h | Eroot-r | Eroot-p | Eroot-y,共 12 项指标。其中
E
root-r/p/y
E_{\text{root-r/p/y}}
Eroot-r/p/y 是 roll/pitch/yaw 三个独立分量,
E
root-h
E_{\text{root-h}}
Eroot-h 是高度(不是 heading),别与
E
root-vel
E_{\text{root-vel}}
Eroot-vel 混。Table V 的
E
root-rpy
E_{\text{root-rpy}}
Eroot-rpy 是合并量,与 Table III 三分量不同量,不可跨表直接比较。
坑 14:8 页正文无附录,复现所需超参数大量缺失。
明文给出的只有:MLP
[
512
,
256
,
128
]
[512,256,128]
[512,256,128](Oracle,沿用 [9])、25 步历史、
B
(
0.5
)
\mathcal{B}(0.5)
B(0.5) 掩码、PPO、19-DoF H1(≈51.5 kg / ≈1.8 m)、IsaacGym [23]、5 个随机种子(Table III)、5 次测试(Table V)、真机 20 段站立动作。缺失:PPO 学习率 / batch size / 训练步数、
γ
\gamma
γ、episode 长度、蒸馏轮数与 DAgger 迭代次数、学生网络结构(是否与教师同构)、PD 增益
K
p
/
K
d
K_p/K_d
Kp/Kd、策略与 PD 的控制频率、域随机化范围、
Q
^
\hat Q
Q^ 的规模与筛选阈值、mask 向量总维度
D
D
D。复现需回查 OmniH2O [9] / H2O [10] 的配置或等待开源。论文网站 hover-versatile-humanoid.github.io 给出了,但 PDF 内未提供代码仓库链接。
坑 15:25 步历史对部署时序极其敏感。
训练时历史缓冲是严格等间隔的 25 帧;真机上丢帧、控制器抖动、传感器时间戳漂移都会让送入网络的向量与训练分布错开。这类问题在仿真里完全看不到,却往往是 sim-to-real 掉点的主要来源。工程上需要固定步长的重采样、时间戳校验,以及历史缓冲的显式初始化策略(episode 起始的前 24 步如何 padding)。论文未讨论。
5.3 故障对照表
| 现象 | 归类 | 定位 | 建议 |
|---|---|---|---|
| 全局位置越走越偏 | 范式级 | 命令只有 root 速度,积分漂移 | 模式里加入绝对关键点锚;外部补位置观测 |
| 切换模式瞬间姿态突变 | 范式级 | 训练时掩码 episode 内固定 | 增加跨掩码过渡样本,或外部做插值 |
| 真机增益远小于仿真 | 范式级 | 传感噪声/执行器延迟主导误差 | 见 7.7,需单独做噪声注入消融 |
| 电机发热、动作抖 | 范式级 | E acc E_{\text{acc}} Eacc 系统性偏高 | 蒸馏损失加加速度正则或动作平滑项 |
| 引用 “consistently outperforms” 被质疑 | 工程级 | Table IV 两格反例 | 改述为 14/16,附原表 |
| 基线数值怪异 | 工程级 | Table IV 11.2±0.004 | 交叉核对原图,勿直接引用 |
| 爬表错列 | 工程级 | 两级合并表头 | 按 5.2 坑 13 的列序人工重建 |
| 复现不出 32/32 | 工程级 | Figure 4 归一化口径未公开 | 自行定义归一化并报告绝对误差 |
6. 源码拆解
声明:PDF 正文与图注中均未给出代码仓库,本论文在 v2 版本里没有官方实现可引用。以下代码是依据 Section II-C~II-E、Figure 2、Table II 的描述与图注重建的伪代码,用于说明数据流与实现要点,不是论文源码,也不代表作者在仓库里的实际写法。凡论文未给出的数值一律以
CFG.xxx占位,不做臆测。
6.1 命令向量与掩码构造
对应 Section II-E 的 Command Mask 段与 Figure 1 的三组虚线框。要点是掩码必须和命令一起作为网络输入,否则无法区分"不提供"与"提供且为 0"。
# 依据 Section II-E / Figure 1 重建
import numpy as np
class CommandSpec:
"""统一命令空间的三个原子子空间(19-DoF H1)"""
KIN_KEYS = ["torso", "head", "l_shoulder", "r_shoulder",
"l_elbow", "r_elbow", "l_hand", "r_hand",
"l_ankle", "r_ankle"] # 关键点三维位置
JOINT_DIM = 19 # Motor-0 ... Motor-18
ROOT_KEYS = ["vx", "vy", "vz", "height", "roll", "pitch", "yaw"]
def build_command(ref_frame, spec: CommandSpec):
"""完整目标状态 s^g:拼接三类命令值"""
kin = np.stack([ref_frame[k] for k in spec.KIN_KEYS]) # (10, 3)
joint = ref_frame["q_target"] # (19,)
root = np.stack([ref_frame[k] for k in spec.ROOT_KEYS]) # (7,)
return {"kin": kin, "joint": joint, "root": root}
def sample_masks(rng, spec: CommandSpec, p=0.5):
"""
M_mode: 上下半身独立选择命令类别(3 位类别开关)
M_sparsity: 在选中类别内部按 B(0.5) 逐维伯努利采样
episode 起始采样一次,整段 episode 复用(Section II-E)
"""
D = len(spec.KIN_KEYS) * 3 + spec.JOINT_DIM + len(spec.ROOT_KEYS) # = 56
M_mode = {
"upper": rng.binomial(1, p, size=3), # [kin? joint? root?] 类别开关
"lower": rng.binomial(1, p, size=3),
}
M_sparsity = rng.binomial(1, p, size=D).astype(np.float32)
return M_mode, M_sparsity
def masked_goal(full_goal, M_mode, M_sparsity, spec, upper_ids, lower_ids):
"""s^g-student = M_sparsity ⊙ [M_mode ⊙ s^g-upper, M_mode ⊙ s^g-lower]
apply_body_partition: 把 3 位类别开关广播到对应的 56 个命令维度上"""
v = np.concatenate([full_goal["kin"].ravel(),
full_goal["joint"],
full_goal["root"]])
v = apply_body_partition(v, M_mode, upper_ids, lower_ids) # 上下半身独立
v = M_sparsity * v # Hadamard 积
return np.concatenate([v, M_sparsity, np.asarray(M_mode["upper"]),
np.asarray(M_mode["lower"])]) # 掩码本身也入网
这里 apply_body_partition 是唯一需要人工定义的部分:论文只说"上下半身独立施加 mode mask",没有给出关键点与关节到上下半身的划分表。H2O 的定义是上半身 6 点(肩/肘/手)、下半身 2 点(踝),可作为默认参考;19 个关节的上下半身切分需按 H1 的 URDF 自行映射。这是复现时第一个必须自己拍板的设计点。
6.2 学生本体观测:25 步环形缓冲
对应 s t p -student ≜ [ q , q ˙ , ω base , g ] t − 25 : t ∪ [ a t − 25 : t − 1 ] s_t^{p\text{-student}} \triangleq [q,\dot q,\omega_{\text{base}},g]_{t-25:t}\cup[a_{t-25:t-1}] stp-student≜[q,q˙,ωbase,g]t−25:t∪[at−25:t−1]。
# 依据 Section II-E 重建
class ProprioBuffer:
"""固定步长环形缓冲:避免每帧 malloc / 拷贝,推理延迟可控"""
H = 25
def __init__(self, joint_dim=19):
self.q = np.zeros((self.H, joint_dim), np.float32)
self.dq = np.zeros((self.H, joint_dim), np.float32)
self.wb = np.zeros((self.H, 3), np.float32)
self.grav = np.zeros((self.H, 3), np.float32)
self.act = np.zeros((self.H, joint_dim), np.float32) # a_{t-25:t-1}
self.head = 0
self.fill = 0
def reset(self):
"""新 episode 清零;前 24 步的 padding 策略需与训练侧严格一致"""
for arr in (self.q, self.dq, self.wb, self.grav, self.act):
arr.fill(0.0)
self.head = 0
self.fill = 0
def push(self, obs, prev_action):
i = self.head
self.q[i], self.dq[i] = obs["q"], obs["dq"]
self.wb[i], self.grav[i] = obs["omega_base"], obs["gravity"]
self.act[i] = prev_action
self.head = (i + 1) % self.H
self.fill = min(self.fill + 1, self.H)
def flat(self):
"""按时间顺序展开;未填满的 episode 起始帧需 padding"""
order = [(self.head - self.H + k) % self.H for k in range(self.H)]
return np.concatenate([
self.q[order].ravel(), self.dq[order].ravel(),
self.wb[order].ravel(), self.grav[order].ravel(),
self.act[order].ravel()], axis=0)
维度粗算: ( 19 + 19 + 3 + 3 + 19 ) × 25 = 63 × 25 = 1575 (19+19+3+3+19)\times 25 = 63\times25=1575 (19+19+3+3+19)×25=63×25=1575 维本体观测,再加掩码后的命令向量。这是一个输入远大于输出(19 维)的回归问题,也解释了为什么学生网络必须靠大量 on-policy 数据才能把隐式状态估计学好。
6.3 Oracle 训练骨架与奖励组装
对应 Section II-D、Table II。奖励项跨 8 个数量级,实现上必须对 task reward 做核映射后再加权。
# 依据 Section II-D 与 Table II 重建
REWARD_W = { # 原表数值,正负号照录
"torque_limits": -2.0, "termination": -2.5e2,
"dof_pos_limits": -1.25e2, "dof_vel_limits": -5e1,
"dof_acc": -1.1e-5, "dof_vel": -4e-3,
"lower_action_rate": -3.0, "upper_action_rate": -6.25e-1,
"torque": -1e-4, "feet_orientation": -6.25e1,
"feet_air_time": 1e3, # 全表唯一正 regularization 项
"feet_contact_force": -7.5e-1,"stumble": -1.25e3,
"slippage": -7.5e1, "in_the_air": -2e2,
"max_feet_height_per_step": -3e3,
"task_dof_pos": 3.2e1, "task_dof_vel": 1.6e1,
"task_body_pos": 8e1, "task_body_rot": 2e1,
"task_body_vel": 8.0, "task_body_ang_vel": 8.0,
"task_root_vel": 1e2, "task_root_rot": 2e1,
}
def oracle_reward(sim, ref, action, prev_action):
r = 0.0
for name, w in REWARD_W.items():
r += w * reward_term(name, sim, ref, action, prev_action)
return r # r_pen + r_reg + r_task
def train_oracle(env, ref_dataset_Qhat, cfg):
"""PPO,三层 MLP [512, 256, 128];域随机化沿用 OmniH2O [9]"""
policy = MLP([512, 256, 128], out_dim=19)
ppo = PPO(policy, **cfg.ppo) # lr / batch / gamma / T 论文未给出
for it in range(cfg.ppo.total_iters):
env.randomize_domain(cfg.domain_rand) # 物理参数 + 机器人参数
rollouts = []
for _ in range(cfg.ppo.num_envs):
traj = env.reset(); ref = ref_dataset_Qhat.sample_sequence()
for t in range(cfg.ppo.episode_len):
sp = oracle_proprio(env) # 全部刚体:仿真特权量
sg = oracle_goal(ref[t + 1], sp) # 完整姿态 + 单帧差分
a, logp, v = policy(sp, sg)
env.step(a) # a → PD 目标关节位置
r = oracle_reward(env, ref[t], a, traj.last_a)
traj.add(sp, sg, a, logp, v, r)
traj.last_a = a
rollouts.append(traj)
ppo.update(rollouts) # 最大化 E[Σ γ^{t-1} r_t]
return policy # 冻结,作为蒸馏教师
oracle_proprio 从仿真器直接读全部刚体的
p
,
θ
,
p
˙
,
ω
p,\theta,\dot p,\omega
p,θ,p˙,ω;oracle_goal 计算
θ
^
t
+
1
⊖
θ
t
\hat\theta_{t+1}\ominus\theta_t
θ^t+1⊖θt 等四项残差与
(
θ
^
t
,
p
^
t
)
(\hat\theta_t,\hat p_t)
(θ^t,p^t) 两项绝对值。旋转差分必须用四元数/李代数形式实现,用欧氏减法会在角度跨越
±
π
\pm\pi
±π 时产生错误监督信号——这是动作模仿类代码最常见的低级 bug。
6.4 DAgger 蒸馏主循环
对应 Section II-E 的 Policy Distillation 段与 Figure 2。核心是rollout 学生、查询教师、聚合数据三件事的顺序。
# 依据 Section II-E "Policy Distillation" 与 Figure 2 重建
def distill_hover(env, oracle, ref_Qhat, cfg):
student = MLP(**cfg.student_arch) # 论文未给学生网络结构
buffer = ProprioBuffer(joint_dim=19)
D = [] # DAgger 聚合数据集
for k in range(cfg.dagger.num_iters): # 论文未给迭代次数
for ep in range(cfg.dagger.episodes_per_iter):
env.reset(); buffer.reset()
M_mode, M_sparsity = sample_masks(rng, spec, p=0.5)
ref = ref_Qhat.sample_sequence()
for t in range(cfg.episode_len):
# ① 学生侧:可部署观测 + 掩码命令
obs = env.deployable_obs() # q, dq, omega_base, g
sp_s = buffer.flat()
sg_s = masked_goal(build_command(ref[t], spec), M_mode,
M_sparsity, spec, upper_ids, lower_ids)
a_t = student(sp_s, sg_s) # 19 维 PD 目标
# ② 教师侧:同一物理时刻、同一仿真状态,取特权量
sp_o = oracle_proprio(env)
sg_o = oracle_goal(ref[t + 1], sp_o) # 完整,不掩码
a_hat = oracle(sp_o, sg_o).detach() # 硬标签,不回传梯度
# ③ 聚合 on-policy 数据
D.append((sp_s, sg_s, a_hat))
# ④ 推进环境(动作来自学生,不是教师)
env.step(a_t)
buffer.push(obs, a_t)
if env.terminated(): break # 非脚部触地即终止
# ⑤ 在聚合数据集上做监督更新:L = ‖â_t − a_t‖²
for _ in range(cfg.dagger.grad_steps):
sp, sg, a_hat = sample_batch(D)
loss = ((student(sp, sg) - a_hat) ** 2).sum(dim=-1).mean()
optimizer.step(loss)
return student
几处容易写错的地方,值得逐条标出来:
env.step(a_t)必须用学生动作。若误用a_hat,就退化成教师轨迹上的行为克隆,DAgger 的 on-policy 性质消失。a_hat查询用的sp_o必须与学生推进后的同一仿真状态对应,不能拿教师自己历史上访问过的状态。这正是 DAgger 区别于"回放教师轨迹"的关键。M_mode/M_sparsity在 episode 循环外采样一次。放在时间步循环里是常见实现错误,会把训练分布变成高频掩码跳变。- 教师
oracle必须no_grad/detach,蒸馏阶段不更新教师。
6.5 部署推理循环
# 依据 Section II-E / Figure 2 "Sim-to-Real Proprioception" 重建
def deploy(policy, robot, frontend, mask_cfg):
"""frontend: VR / MoCap / Joystick / RGB,产出命令子集"""
buf = ProprioBuffer(joint_dim=19)
mask = mask_cfg.freeze() # 一次会话固定,或外部显式切换
prev_a = np.zeros(19, np.float32)
while robot.ok():
obs = robot.read_sensors() # q, dq, omega_base(IMU), gravity
cmd = frontend.read() # 稀疏命令,缺失维度由掩码标记
sp, sg = buf.flat(), pack_masked(cmd, mask)
a = policy(sp, sg) # 19 维目标关节位置
robot.set_pd_targets(a) # τ = Kp(a − q) − Kd·q̇,底层高频闭环
buf.push(obs, prev_a)
prev_a = a
robot.wait_next_tick() # 固定步长,见坑 15
6.6 超参数表(论文明文给出的全部数值)
| 类别 | 参数 | 值 | 出处 |
|---|---|---|---|
| 硬件 | 机器人 / 自由度 / 质量 / 身高 | Unitree H1 / 19 DoF / ≈51.5 kg / ≈1.8 m | Sec. III |
| 仿真器 | IsaacGym [23] | — | Sec. III |
| 数据 | AMASS [17] → Q ^ \hat Q Q^ | 三步重定向 + sim-to-data 过滤 | Sec. II-C |
| Oracle 网络 | 三层 MLP 隐层 | [ 512 , 256 , 128 ] [512, 256, 128] [512,256,128] | Sec. II-D |
| Oracle 算法 | PPO [18] | γ \gamma γ、lr、batch 未给出 | Sec. II-A/D |
| 学生观测 | 历史窗口 | 25 步 | Sec. II-E |
| 掩码 | 每 bit 分布 / 采样时机 | B ( 0.5 ) \mathcal{B}(0.5) B(0.5) / episode 起始,段内固定 | Sec. II-E |
| 蒸馏 | 算法 / 损失 | DAgger [22] / ∣ a ^ t − a t ∣ 2 2 |\hat a_t-a_t|_2^2 ∣a^t−at∣22 | Sec. II-E |
| 动作 | 维度 / 语义 | R 19 \mathbb{R}^{19} R19 / PD 目标关节位置 | Sec. II-A |
| 评测 | 仿真 / 真机 | 5 随机种子 / 5 次测试,20 段站立动作 | Table III / V |
| 奖励 | 项数 / 权重范围 | 20+ 项, 1.1 × 10 − 5 1.1\times10^{-5} 1.1×10−5 ~ 3 × 10 3 3\times10^{3} 3×103 | Table II |
6.7 实现层技巧(面向真机部署)
论文没有讨论工程实现,以下几点是按其数据流自然导出的,供做 C++/Python 落地时参考:
- 掩码用位运算打包,不要用浮点向量乘。
M
sparsity
M_{\text{sparsity}}
Msparsity 是二值向量,用一个
uint64_t位图( D ≤ 64 D\le 64 D≤64 时)或两个uint64_t表示,配合__builtin_popcountll做激活维度统计;命令值仍在浮点数组里,掩码只作为网络输入追加一个 0/1 通道。这样既省带宽,也避免了"值恰好为 0"与"未提供"混淆。 - 历史缓冲用环形数组 + 预分配张量,推理时只做一次
memcpy到连续输入张量,避免每控制周期构造 25 个临时对象。1575 维的输入在 1 kHz 级控制回路里,内存分配抖动比算力更致命。 - PD 与策略分线程/分进程:策略网络是低频(几十 Hz)、非确定延迟;PD 是高频(kHz)、硬实时。两者共线程会让一次网络推理卡顿直接变成关节失控。中间用无锁双缓冲交换
a_t。 - 旋转差分走 SO(3):
θ
^
t
+
1
⊖
θ
t
\hat\theta_{t+1}\ominus\theta_t
θ^t+1⊖θt 用四元数
q_hat * q.conjugate()再取对数映射,不要用欧拉角相减。角度环绕处的错误会直接污染教师目标,且只在特定动作上出现,很难查。 - 教师推理离线/离线进程化:
oracle在蒸馏时每步都要查询一次,若与学生 rollout 同进程同步执行,GPU 上会频繁切换两个计算图。常见的做法是把教师查询批量化或单独起一个推理进程。 - 掩码日志必须落盘:每个 episode 的 M mode M_{\text{mode}} Mmode、 M sparsity M_{\text{sparsity}} Msparsity 存下来。因为 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 采样下某些稀疏组合可能在整个训练中只出现几次,出问题时的第一手证据就是当时的掩码。
6.8 复现缺口清单
| 缺口 | 影响 | 可否从引用文献补齐 |
|---|---|---|
| PPO / 蒸馏的全部超参 | 无法复现训练曲线 | 部分可从 [9, 10] 推断 |
| 学生网络结构 | 影响容量与推理延迟 | 否 |
| 上下半身关键点/关节划分表 | 决定掩码语义 | 部分可从 H2O 的 8 关键点定义推断 |
| PD 增益与控制频率 | 决定 sim-to-real 表现 | 需查 H1 默认配置 |
| 域随机化范围 | 决定真机鲁棒性 | 可从 [9] 推断 |
| Q ^ \hat Q Q^ 规模与筛选阈值 | 决定训练/评测分布 | 否 |
| Figure 4 的 E max / E min E_{\max}/E_{\min} Emax/Emin 口径 | 决定 32/32 复核 | 否 |
7. 效果对比
7.1 仿真主表(Table III,5 随机种子,均值)
下表为原表均值;原表每个数值还带 ± \pm ± 标准差(例如 Oracle 的 E g -mpjpe = 119 ± 0.442 E_{g\text{-mpjpe}}=119\pm0.442 Eg-mpjpe=119±0.442,ExBody HOVER 的 185 ± 1.110 185\pm1.110 185±1.110),完整带误差版本请对照原表。单位:Survive 为 %, E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe / E mpjpe E_{\text{mpjpe}} Empjpe 为 mm, E acc E_{\text{acc}} Eacc 为 mm/frame², E vel E_{\text{vel}} Evel 为 mm/frame,关节角与 root 旋转为 rad, E root-vel E_{\text{root-vel}} Eroot-vel 为 m/s。
| 方法 | Survive↑ | E g − m p j p e E_{g\!-\!mpjpe} Eg−mpjpe↓ | E m p j p e E_{mpjpe} Empjpe↓ | E a c c E_{acc} Eacc↓ | E v e l E_{vel} Evel↓ | E u p p e r − j E_{upper\!-\!j} Eupper−j↓ | E l o w e r − j E_{lower\!-\!j} Elower−j↓ | E r o o t − v e l E_{root\!-\!vel} Eroot−vel↓ | E r o o t − h E_{root\!-\!h} Eroot−h↓ | E r o o t − r E_{root\!-\!r} Eroot−r↓ | E r o o t − p E_{root\!-\!p} Eroot−p↓ | E r o o t − y E_{root\!-\!y} Eroot−y↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Oracle policy | 99.3 | 119 | 59.4 | 2.63 | 5.43 | 0.153 | 0.206 | 0.456 | 0.066 | 0.065 | 0.083 | 0.282 |
| ExBody (Specialist) | 99.1 | 275 | 83.1 | 2.63 | 6.31 | 0.166 | 0.243 | 0.428 | 0.074 | 0.070 | 0.147 | 0.276 |
| HOVER (ExBody) | 99.1 | 185 | 63.9 | 3.01 | 6.06 | 0.148 | 0.210 | 0.452 | 0.063 | 0.068 | 0.091 | 0.279 |
| HumanPlus (Specialist) | 98.4 | 266 | 80.1 | 2.53 | 6.16 | 0.177 | 0.222 | 0.422 | 0.061 | 0.080 | 0.124 | 0.228 |
| HOVER (HumanPlus) | 98.9 | 182 | 64.5 | 2.85 | 5.91 | 0.145 | 0.211 | 0.455 | 0.067 | 0.069 | 0.104 | 0.237 |
| H2O (Specialist) | 99.2 | 137 | 66.3 | 2.63 | 5.75 | 0.177 | 0.221 | 0.457 | 0.078 | 0.067 | 0.095 | 0.415 |
| HOVER (H2O) | 98.9 | 121 | 60.6 | 2.73 | 5.49 | 0.158 | 0.207 | 0.456 | 0.065 | 0.067 | 0.086 | 0.365 |
| OmniH2O (Specialist) | 99.0 | 149 | 76.4 | 2.69 | 6.18 | 0.199 | 0.232 | 0.456 | 0.071 | 0.070 | 0.125 | 0.306 |
| HOVER (OmniH2O) | 99.0 | 128 | 62.5 | 2.69 | 5.65 | 0.162 | 0.213 | 0.457 | 0.065 | 0.068 | 0.089 | 0.310 |
逐模式胜负统计(本文按上表逐格重算,↓ 指标越小越好,平局单列):
| 模式 | HOVER 胜 | 负 | 平 | 与正文 “at least 7/12” 一致? |
|---|---|---|---|---|
| ExBody | 8 | 3 | 1 | ✓ |
| HumanPlus | 8 | 4 | 0 | ✓ |
| H2O | 9 | 2 | 1 | ✓ |
| OmniH2O | 8 | 2 | 2 | ✓ |
| 合计 | 33 | 11 | 4 | ✓(48 格) |
正文 “每个模式至少 12 项中的 7 项占优” 与表格一致。但把 11 个负项归拢看,分布并不随机: E acc E_{\text{acc}} Eacc 4 个模式里 3 负 1 平, E root-vel E_{\text{root-vel}} Eroot-vel 4 个模式里 3 负 1 胜, E root-y E_{\text{root-y}} Eroot-y 4 个模式里 3 负。这不是噪声,是系统性的能力偏向——HOVER 更贴参考姿态,但动作高频分量更多、root 速度/偏航跟踪略松。
7.2 相对提升与"最重要的数字"
按 HOVER 相对 specialist 计算降幅(本文基于 Table III 均值计算):
| 模式 | E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe | 降幅 | E mpjpe E_{\text{mpjpe}} Empjpe | 降幅 | E upper-j E_{\text{upper-j}} Eupper-j | 降幅 |
|---|---|---|---|---|---|---|
| ExBody | 275→185 | −32.7% | 83.1→63.9 | −23.1% | 0.166→0.148 | −10.8% |
| HumanPlus | 266→182 | −31.6% | 80.1→64.5 | −19.5% | 0.177→0.145 | −18.1% |
| H2O | 137→121 | −11.7% | 66.3→60.6 | −8.6% | 0.177→0.158 | −10.7% |
| OmniH2O | 149→128 | −14.1% | 76.4→62.5 | −18.2% | 0.199→0.162 | −18.6% |
最值得注意的是 ExBody / HumanPlus 的 −32% 与 −31.6%:这两个模式恰恰是命令最稀疏、最缺绝对位置锚点的模式,也是 specialist 与 Oracle 上界差距最大的模式(275/266 vs 119 mm)。也就是说,蒸馏带来的增益与"该模式本身有多难"高度正相关——专用 RL 策略在欠约束命令下最容易过拟合自己的奖励结构,而共享运动先验恰好在这里补上了最多的信息。这与论文第 2 页的假设(“single-mode policies often overfit to specific reward structures”)在数据上吻合。
反过来看 H2O 模式只降 11.7%,因为它本来就给了 8 个绝对关键点位置,约束充分,specialist 已经接近上界(137 vs 119),留给蒸馏的空间不大。增益不是均匀分布的,它集中在信息最稀缺的模式上。
7.3 与 Oracle 上界的距离(本文二次分析)
| 模式 | E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe | 相对 Oracle (119) | E mpjpe E_{\text{mpjpe}} Empjpe | 相对 Oracle (59.4) |
|---|---|---|---|---|
| H2O | 121 | +1.7% | 60.6 | +2.0% |
| OmniH2O | 128 | +7.6% | 62.5 | +5.2% |
| HumanPlus | 182 | +53.0% | 64.5 | +8.6% |
| ExBody | 185 | +55.5% | 63.9 | +7.6% |
这张表是全文信息量最大的一组比值,而论文没有把它单独列出来:
- 局部姿态误差几乎与模式无关:四种模式下 E mpjpe E_{\text{mpjpe}} Empjpe 都只在 Oracle 上界之上 2%~9%。说明 25 步历史缓冲足以把"整体姿态"重建出来,学生不依赖命令就能把这个分量猜对。
- 全局位置误差对模式极度敏感:从 +1.7% 到 +55.5%,跨度 30 倍。分界线非常干净——命令里有没有绝对位置锚点。H2O 跟踪双踝三维位置、OmniH2O 跟踪头与双手,等价于给了解码器绝对坐标;ExBody / HumanPlus 只给 root 速度,等价于只传运动矢量,积分漂移直接体现在全局 MPJPE 上。
由此可得一个对系统设计有用的判据:若要控制全局位置误差,选模式时优先选带绝对关键点约束的;若只需姿态像人,纯速度模式的代价可以接受。 论文把这组数据分散在 Table III 里,没有做这个归因,但它对实际选型比"HOVER 比 specialist 好"更有指导性。这也反过来印证了第 2.8 节的 DPB / 运动矢量类比:历史缓冲能补回姿态,补不回绝对坐标系下的累积漂移。
7.4 稀疏模式对比(Table IV)
| 模式 | 方法 | E g -mpjpe-mode E_{g\text{-mpjpe-mode}} Eg-mpjpe-mode↓ | E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode↓ | E acc-mode E_{\text{acc-mode}} Eacc-mode↓ | E vel-mode E_{\text{vel-mode}} Evel-mode↓ |
|---|---|---|---|---|---|
| Left Hand | Specialist | 189±1.526 | 147±1.324 | 5.82±0.029 | 11.2±0.089 |
| HOVER | 138±1.025 | 151±0.934 | 5.45±0.031 | 10.3±0.104 | |
| Right Hand | Specialist | 220±1.345 | 216±1.451 | 6.77±0.051 | 12.5±0.152 |
| HOVER | 128±0.774 | 141±0.821 | 5.83±0.049 | 10.8±0.129 | |
| 2 Hands | Specialist | 137±0.998 | 145±1.010 | 5.72±0.037 | 11.2±0.004 ⚠ |
| HOVER | 120±0.901 | 119±0.827 | 5.60±0.045 | 10.1±0.134 | |
| Head | Specialist | 186±1.149 | 104±0.814 | 2.22±0.008 | 6.63±0.065 |
| HOVER | 133±0.849 | 80.0±0.711 | 2.31±0.011 | 6.40±0.029 |
⚠ 单元格见坑 8。这一组数据说明两件事:
- 右手模式收益最大: E g -mpjpe-mode E_{g\text{-mpjpe-mode}} Eg-mpjpe-mode 220→128(−41.8%), E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode 216→141(−34.7%)。单关键点模式信息量最少,专用 RL 策略最难学到稳定全身姿态,蒸馏的运动先验补得最多。与 7.2 的规律一致。
- 16 格里 HOVER 胜 14 格,反例见坑 7。Left Hand 的 E mpjpe-mode E_{\text{mpjpe-mode}} Empjpe-mode 与 Head 的 E acc-mode E_{\text{acc-mode}} Eacc-mode 两项 HOVER 更差,正文 “consistently outperforms” 的表述需要修正。
7.5 与其他通用训练方法对比(Figure 4)
基线 Multi-Mode RL 使用完全相同的掩码机制,但从零用 RL 目标训练,没有教师。四个雷达图分别对应 (a) Root RPY、(b) Upper Joint、© Local Body Position、(d) Global Body Position,八个模式为 Head only、ExBody、Left hand only、OmniH2O、HumanPlus、Right hand only、Two hands、H2O。
论文结论:HOVER 在 32/32(4 指标 × 8 模式)上误差都更低,雷达网用 E ~ = ( E max − E ) / ( E max − E min ) \tilde E=(E_{\max}-E)/(E_{\max}-E_{\min}) E~=(Emax−E)/(Emax−Emin) 归一化后绿色(HOVER)全面包住紫色(Multi-Mode RL)。
这组对比的实验设计价值在于它是受控变量:掩码相同、模式分布相同,唯一差别是监督信号来源(教师动作 L2 vs 稀疏 RL 奖励)。因此结论可以比较干净地归因为「特权运动先验 + 稠密监督」优于「从零多模式 RL」。局限也很清楚:原始误差数值未列表、归一化口径未定义(坑 12),32/32 无法独立复核。
7.6 真机结果(Table V,20 段站立动作,5 次测试)
| 模式 | 方法 | E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe↓ | E mpjpe E_{\text{mpjpe}} Empjpe↓ | E upper-j E_{\text{upper-j}} Eupper-j↓ | E root-rpy E_{\text{root-rpy}} Eroot-rpy↓ |
|---|---|---|---|---|---|
| ExBody | Specialist | 51.3±0.279 | 39.3±0.214 | 0.131±0.001 | 0.036±0.001 |
| HOVER | 48.9±0.470 | 36.8±0.201 | 0.126±0.001 | 0.032±0.001 | |
| HumanPlus | Specialist | 51.0±0.275 | 36.7±0.202 | 0.128±0.001 | 0.035±0.001 |
| HOVER | 47.4±0.359 | 35.3±0.194 | 0.121±0.001 | 0.038±0.001 | |
| OmniH2O | Specialist | 51.2±0.497 | 42.1±0.233 | 0.153±0.002 | 0.040±0.001 |
| HOVER | 47.5±0.261 | 41.0±0.227 | 0.145±0.001 | 0.037±0.001 |
11/12 占优,唯一反例是 HumanPlus 的 E root-rpy E_{\text{root-rpy}} Eroot-rpy(0.038 vs 0.035)。Figure 5 另外展示了 Upper-Body Joint Mode、Root Pitch Mode、Full-Body Kinematics Mode 的定性结果(含高动态跑动);Figure 6 展示运行中 abrupt 切模式与 Vision Pro 三点遥操作下随机遮蔽头/手位置。这些是定性展示,没有定量指标,也没有真机 locomotion 的跟踪误差数值。
7.7 仿真—真机增益落差(本文二次分析)
把同一个指标 E g -mpjpe E_{g\text{-mpjpe}} Eg-mpjpe 在仿真与真机上的相对降幅放在一起:
| 模式 | 仿真降幅 | 真机降幅 | 比值 |
|---|---|---|---|
| ExBody | −32.7% | −4.7% | 7.0× |
| HumanPlus | −31.6% | −7.1% | 4.5× |
| OmniH2O | −14.1% | −7.2% | 2.0× |
| 平均 | ≈ −22.5% | ≈ −6.3% | ≈ 3.6× |
需要指出的是,两组数字不是同一实验条件:仿真用 Q ^ \hat Q Q^ 全量动作序列、真机只用 20 段站立动作,绝对误差量级也完全不同(185 mm vs 48.9 mm,真机反而更小,说明真机评测选的是简单动作)。因此这个比值不能直接解释为"sim-to-real 掉了多少",只能说明:在容易的动作上,专用策略与通用策略的差距会被压到几个百分点。合理推测是真机误差被传感噪声、执行器延迟、标定误差等共同项主导,策略本身的差异被这部分共同噪声淹没。论文没有做噪声注入消融来分离这两项,这是评估通用控制器真实收益时最需要补的实验。
7.8 结论性数字
若只记三个数:
- 119 → 121 mm:H2O 模式下 HOVER 的全局位置误差只比特权 Oracle 上界高 1.7%,说明在信息充分的模式下蒸馏几乎无损。
- 275 → 185 mm(−32.7%):ExBody 模式下相对专用策略的最大增益,也是"共享运动先验补欠约束"最直接的证据。
- 22.5% vs 6.3%:仿真与真机的平均相对增益落差,提醒不要把 Table III 的百分比直接外推到硬件。
8. 总结
8.1 核心结论
HOVER 的贡献可以压缩成一句:把"控制模式"从需要重新训练的模型,降级为策略输入上的一个二值掩码;并用特权全身运动模仿器提供的稠密动作监督,让单个网络学会在这族掩码分布下都表现良好。 三步落地——(1) 定义覆盖三大类命令的统一原子空间;(2) PPO 训练一个能看到全部特权状态的 Oracle 运动模仿器,把平衡、协调、类人先验集中进一个网络;(3) 用 DAgger 在学生的 on-policy 状态上做 ∥ a ^ t − a t ∥ 2 \|\hat a_t-a_t\|^2 ∥a^t−at∥2 动作回归,掩码在 episode 起始从 B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 采样并保持固定。
它在受控对比中证明了两件事:相对专用 RL 策略,同一策略在四种既有模式下每个至少 7/12 指标占优(合计 33/48);相对同样掩码设计的 Multi-Mode RL 基线,32/32 指标与模式误差更低。后者说明关键变量是监督信号的稠密性与来源,而非掩码机制本身。
8.2 能力边界
边界同样清楚:统一的是低层命令接口,不含自动模式选择(论文自己列为 future work);训练分布里没有 episode 内的模式跳变;增益集中在姿态/位置跟踪,代价是 E acc E_{\text{acc}} Eacc 系统性上升(动作更抖);全局位置精度强依赖命令里是否有绝对锚点;真机定量验证限于 20 段站立动作。复现层面,8 页正文无附录,PPO/蒸馏超参、学生网络结构、PD 增益与控制频率等关键配置均缺失。
8.3 与编解码设计的连接
整套架构与视频编码标准的语法设计几乎同构:一套码流语法 + 模式标志位,替代 N 套专用解码器;编码端/解码端的信息不对称,对应 Oracle 特权观测与学生可部署观测;DPB 参考帧缓冲对应 25 步历史;只传运动矢量不传绝对坐标会导致积分漂移,对应纯 root 速度模式的全局 MPJPE 劣势。第 7.3 节的数据为这个同构提供了定量支持:局部姿态误差在四种模式下都贴近 Oracle 上界(+2%~+9%),全局位置误差却从 +1.7% 拉到 +55.5%——历史缓冲能补回姿态,补不回累积漂移。
对做视频编码的读者,还有一个方法论层面的可迁移点:HOVER 相当于把一个策略压成了整条 R-D 曲线族上的单一参数化模型,而不是为每一个码率点训一个模型。命令稀疏度就是 R,跟踪误差就是 D; B ( 0.5 ) \mathcal{B}(0.5) B(0.5) 随机掩码是对这条曲线族的蒙特卡洛采样。这种"把操作点作为条件输入"的思路,在可变码率/可变复杂度的神经编解码器设计里同样成立。
8.4 开放问题
- 自动模式选择:能否让策略根据任务与传感可用性自行输出掩码?论文留下的最直接缺口。若把掩码也变成策略输出,就变成了一个带离散隐变量的层次化 RL 问题。
- 信息差上界的定量刻画:学生的 25 步历史究竟能推断出多少特权状态?能否用状态估计误差或互信息把 Oracle–HOVER 的性能差拆成"可学习"与"不可学习"两部分?这会直接回答 25 步是否足够、以及应当加到多少步。
- 轨迹级蒸馏:在 ∥ a ^ t − a t ∥ 2 \|\hat a_t-a_t\|^2 ∥a^t−at∥2 之外引入多步状态匹配或对抗式轨迹判别,能否抑制 E acc E_{\text{acc}} Eacc 上升与长时域漂移?
- 训练/评测分布解耦:在未见动作、外部扰动、非站立任务上重新评测,并把传感噪声、执行器延迟做成分层消融,才能分离 7.7 节里那 3.6 倍的增益落差。
- 教师奖励的鲁棒性:把 Table II 的 20+ 项奖励做逐项消融,验证 HOVER 的通用性究竟来自运动先验,还是仅仅来自稠密监督相对稀疏奖励的低方差优势。这决定了方法能否迁移到没有高质量 MoCap 数据的机器人形态上。
- 跨形态泛化:当前结论绑定 19-DoF H1。统一命令空间在自由度更多(带手指、带腰部额外关节)的平台上是否仍保持原子性,需要重新验证掩码划分表。
参考资料
- 主论文:T. He et al., HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots, arXiv:2410.21229v2, 2025. https://arxiv.org/abs/2410.21229
- 项目页:https://hover-versatile-humanoid.github.io
- 关键引用:[9] OmniH2O (arXiv:2406.08858) · [10] H2O (arXiv:2403.04436) · [12] ExBody (arXiv:2402.16796) · [13] HumanPlus (arXiv:2406.10454) · [17] AMASS (ICCV 2019) · [18] PPO (arXiv:1707.06347) · [21] MHC (arXiv:2408.07295) · [22] DAgger (AISTATS 2011) · [23] Isaac Gym (arXiv:2108.10470) · [24] Unitree H1 · [44] MaskedMimic (TOG 2024)
本文所有数值均取自上述 PDF 的 Table I–V 与正文,标注"本文计算/推演"的比值为基于原表均值重新推导,未在论文中直接给出。伪代码为依据 Section II 与 Figure 2 的教学性重建,非官方实现。对 Table IV 中疑似排版错误的单元格已在第 5 节显式标注。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)