文献：SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
会议：Conference on Robot Learning（CoRL 2026，Oral）
作者：Beyond Mimic团队
关键词：Humanoid Whole-Body Control（人形全身控制）、Differentiable World Model（可微世界模型）、Model-Based Reinforcement Learning（基于模型的强化学习）、Backpropagation Through Time（时间反向传播）、Motion Tracking（动作跟踪）、Sim-to-Real（仿真到现实迁移）
论文地址：arXiv:2610.28480｜PDF 原文
项目主页：https://supermimic.github.io/
相关公开数据：BONES-SEED｜LAFAN1 数据介绍

---

1. 文献核心结论

SuperMimic 研究的是大规模人形机器人全身动作跟踪的训练效率，而不是视觉语言动作模型，也不是无模型动力学的端到端动作生成。 给定已经重定向到机器人本体的参考运动，目标是学习一个在物理约束和接触条件下稳定执行这些运动的通用关节控制策略。

传统模型无关强化学习（model-free RL）大多使用 PPO 在刚体仿真器中收集大量样本；动作库扩大后，策略要在各类动作上重复试错，训练规模通常随动作覆盖范围增长。SuperMimic 的关键转变是：把所有参考动作共享的机器人动力学交给同一个可微世界模型学习，再通过这个模型上短时域预测轨迹的可微回报，直接计算策略梯度。

整个训练过程不是先离线拟合世界模型再永久冻结策略，而是不断循环：真实仿真采样 → 更新世界模型 → 冻结模型进行短时域想象与 BPTT 策略更新 → 再采样。环境仍然由 MuJoCo Warp 等常规非可微刚体仿真器提供物理标签，因此不要求仿真器支持可微接触求解。

论文最重要的结果和适用条件如下。

表 1　SuperMimic 的核心实验结论（论文摘要、§4、附录 F）

指标	论文报告的结果	解读边界
训练计算	1×H100 约 3 h 超过 SONIC 已发布检查点的归一化回报	SONIC 为 128×L40、168 h；GPU 和数据规模不完全相同
GPU-hours	约 3 GPU-h 对比约 21,000 GPU-h	严格按报告设置计算约 7,000 倍；论文保守表述为超过 1,000 倍
大规模动作覆盖	129,514 条动作中失败 25 条；SONIC 失败 179 条	是训练动作库覆盖测试，不是未知动作零样本测试
两卡训练	2×H100，9.8 h 后失败 0 条	指同一动作库和统一失败判据
模型精度扩展	从 1 h 到 264 h，8 步误差约为 0.007–0.011	归一化状态预测误差，并不是位置米级误差
想象速度	常用批量下比 MuJoCo Warp 快超过 10 倍	在 H100、TF32 和相应环境规模上测得
策略梯度机制	较 PPO-WM 约节省 64 倍想象步数	比的是样本步数，不等于训练时间快 64 倍
真机	Unitree G1 演示跳跃、侧滚翻、90°/360°翻转	论文展示代表性动作，未提供各类真机大规模成功率

图 1（原论文 Figure 1）SuperMimic 的世界模型想象运动与计算开销对比。左侧为世界模型中的全身动作连续预测，右侧对比 SONIC 的 128×L40、168 h 与本文的 1×H100、3 h。来源：Liao et al., CoRL 2026, arXiv:2610.28480v1, Figure 1，原 PDF 第 1 页。核对原图。

图 1 强调的研究目标不是某个单一翻转动作，而是同一个动力学模型和同一个运动控制器覆盖一个大型动作库。论文的结果首先证明了较低训练开销下的训练集动作覆盖能力，然后以少量真实 G1 动作演示验证 sim-to-real 可行性。

---

2. 科学问题、技术挑战与方法定位

2.1 大规模全身动作跟踪为什么昂贵

设参考动作集合为 D = { m ( 1 ) , … , m ( N ) } \mathcal D=\{m^{(1)},\ldots,m^{(N)}\} D={m(1),…,m(N)}，每条运动给出参考的机身、各刚体位置、姿态和速度轨迹。期望学习一个统一策略 ${\pi }_{\theta }(a_t\mid o_t,g_t)$，以本体观测 $o_t$ 和参考条件 $g_t$ 生成动作 $a_t$。

随着 $N$ 增加，模型无关方法通常面临：

1. 重复的动力学试错。 不同的行走、下蹲、跳跃和翻转动作虽然参考不同，却遵循同一机器人质量、惯量、驱动器和接触规律；常规 PPO 未显式复用这些结构。
2. 计算需求。 大规模并行刚体碰撞求解和策略采样十分昂贵，长期训练会产生数万 GPU-hours 的计算负担。
3. 样本利用率。 基于似然比的随机策略梯度不直接利用状态对动作的局部敏感性，短时域回报的梯度估计方差较大。
4. 物理接触的不可微性。 跳跃、落地、侧滚翻时有接触切换；普通仿真器没有可供自动微分的稳定梯度。
5. 跨域部署。 只有在世界模型训练、传感噪声、摩擦与质心随机化都合理时，学得的策略才可能迁移到真实电机和接触环境。

研究问题可以概括为：

$$\text{Large Motion Library}+\text{Ordinary Rigid-body Simulation}⟶\text{One Efficient and Deployable Whole-body Tracker}.$$

2.2 与 PPO、SHAC、Dreamer 及 BeyondMimic 的关系

表 2　主要技术路线定位（原论文 §2；归纳性比较）

路线	动力学提供方式	策略优化主要信号	与 SuperMimic 的区别
PPO / SONIC	直接调用刚体仿真器	似然比策略梯度、优势估计	不对动力学状态转移求导，通常需要大量采样
BeyondMimic	物理仿真器	PPO + 运动跟踪奖励	SuperMimic 延续其奖励设计，但换成基于世界模型的控制优化
SHAC	可微仿真器	通过仿真动力学 BPTT + Critic	SuperMimic 对学习到的动力学代理求导，而非物理仿真器
Dreamer 类	学习的潜在动力学模型	想象滚动 + Actor-Critic	都使用想象学习，但状态表示、任务和梯度机制未必相同
SuperDyno / SuperTrack	学习神经动力学代理	可微轨迹优化	SuperMimic 强调大规模 G1 动作库、严格算力对比及真机部署
SuperMimic	仿真数据学习的共享可微世界模型	短时域 BPTT + 终端 Critic	单一模型跨动作库训练，持续拟合动力学并复用其解析梯度

需要区分“可微世界模型”和“可微仿真器”。 前者是由神经网络拟合普通仿真器输入输出关系，训练策略时对神经网络的计算图求导；后者要求物理积分、约束和接触求解本身可微。SuperMimic 属于前者。

---

3. 总体算法架构：一个循环、两类学习对象

3.1 三阶段交替训练，而非固定阶段预训练

SuperMimic 的基本模块包括：

• 物理仿真器：MuJoCo Warp，执行包含接触的高保真状态转移，产生训练标签。
• Replay Buffer（回放缓冲区） $\mathcal{B}$：存储真实仿真状态、执行动作、随机化环境参数以及相关标签。
• Dynamics Model（动力学世界模型） $f_{\omega }$：从当前状态、动作和环境参数预测下一状态。
• Policy（动作策略） ${\pi }_{\theta }$：从参考动作目标和带噪观测输出关节指令。
• Critic（状态价值网络） $V_{\psi }$：估计想象时域以外的回报，降低短视优化的影响。

图 2（原论文 Figure 2）SuperMimic 训练循环。左：仿真采样；中：基于回放数据拟合世界模型；右：冻结世界模型，通过 BPTT 更新策略并拟合 Critic。虚线是梯度流。来源：Liao et al., arXiv:2610.28480v1, Figure 2，PDF 第 4 页。核对原图。

训练循环可写成：

$$\begin{array}{rl}& \text{Collect:}(s_t,a_t+{ϵ}_t,\xi ,s_{t+1})⟶\mathcal{B},\\ & \text{Fit:}\omega \leftarrow \omega -{\alpha }_{\omega }{\nabla }_{\omega }{\mathcal{L}}_{\mathrm{WM}},\\ & \text{Improve:}\theta \leftarrow \theta +{\alpha }_{\theta }{\nabla }_{\theta }\hat{J}(\theta ),\psi \leftarrow \mathrm{UpdateCritic}(\psi ).\end{array}$$

这里 ${ϵ}_t$ 为数据采集阶段施加的动作噪声，$\xi$ 是每个 episode 的模拟环境参数，$s_t$ 为用于模型拟合的状态。策略求导时只冻结当前世界模型参数 $\omega$，不是整个训练期间一直冻结模型。 旧策略采集的数据仍能用于学习动力学，因为同一物理状态下的动力学规律并不取决于数据由哪个策略采集。

3.2 为什么使用 Dyna 式短时域想象

若直接用世界模型从任意初态预测上千步，预测误差容易累积并被策略利用。本文从回放数据中取真实已访问状态 $s_0\sim {\rho }_0$ 作为想象起点，只用世界模型展开 $H=32$ 个控制步，末端再通过 Critic 估计余下价值：

$$\text{Replay State}{s}_0\underset{\text{frozen }{f}_{\omega }}{\overset{{\pi }_{\theta },H=32}{\to }}{\hat{s}}_H\stackrel{V_{\psi }}{\to }\text{Long-term return estimate}.$$

这使世界模型主要负责可控长度内的状态与梯度预测，而 Critic 负责剩余长期回报，两者共同缓解长时域模型偏差和策略短视问题。

---

4. 状态观测、动作空间与关节控制接口

4.1 29 维关节动作与历史本体感知

原论文附录 A 的机器人动作空间是 29 维归一化关节位置设定值，而不是 29 维直接关节力矩；低增益 PD 跟踪将设定值转换为具有类似力矩调节效果的指令。动作到关节位置目标的映射为：

$$q_t^{\mathrm{sp}}=\alpha a_t+q^0,a_t\in {\mathbb{R}}^{29}.$$

$\alpha$ 是动作缩放系数，$q^0$ 为默认姿态，原文未在该式中将 $a_t$ 定义为真实扭矩。此处与 MPC/WBC 直接输出期望接触力或关节力矩的控制接口不同。

单帧本体观测 $o_t$ 包括关节位置偏差、关节速度、IMU 角速度、投影重力和上一动作。

表 3　单帧观测空间与噪声（原论文 Table A.1）

项目	维度	噪声（逐维）	作用
关节位置 $q-q^0$	29	$\mathcal{U}[-0.01,0.01]$ rad	关节构型
关节速度 $\dot{q}$	29	$\mathcal{U}[-0.5,0.5]$ rad/s	运动状态
基座 IMU 角速度	3	$\mathcal{U}[-0.2,0.2]$ rad/s	旋转动态
基座系投影重力	3	$\mathcal{U}[-0.05,0.05]$	姿态重力方向
上一动作 $a_{t-1}$	29	无	动作历史
单帧合计	93	—	策略使用最近 10 帧观测历史

因此 10 帧纯本体历史展平后有 $93\times 10=930$ 个标量；还要另加对应 goal encoder 的输入与编码特征，不可将 930 误称为整个神经网络的唯一输入维度。机器人策略不使用全局真实动力学状态作为本体传感观测。

4.2 参考运动 Goal 与未来序列

论文的默认任务是全参考运动跟踪。相较 BeyondMimic 使用单帧目标，SuperMimic 的运动编码器输入 未来 $K=10$ 帧参考。该参考包含动作重定向后的机器人身体运动目标；它不是相机 RGB 序列，也不是 VLA 的语言 token。

网络抽象为：

$$z_t={\mathrm{enc}}_{\theta ,\mathrm{motion}}(g_{t:t+K-1}),a_t={\mathrm{dec}}_{\theta }(z_t,o_{t-9:t}).$$

其中 $z_t\in {\mathbb{R}}^{32}$，经 $\tanh$ 约束。对于下游速度跟踪，另有独立的速度 goal encoder，但共用 29 维动作解码器。

4.3 控制频率与 PD 的角色

论文的控制时间步长为 $\Delta t=0.02\mathrm{s}$，即 50 Hz。MuJoCo Warp 中一个控制步对应四个 $5\mathrm{ms}$ 仿真子步。神经策略产生关节设定值，驱动执行层负责用低增益 PD 实现关节动作。论文未将该策略表述为在线二次规划求解器，也未声称额外使用 MPC-WBC 求解全身力分配。

---

5. 可微世界模型：状态预测、损失函数与训练方法

5.1 条件确定性世界模型

论文使用已知的模拟随机化上下文 $\xi$，因此模型本身对给定状态、动作和上下文采用确定性动力学预测。定义：

$${\hat{s}}_{t+1}=f_{\omega }({\hat{s}}_t,a_t,\xi ),{\hat{r}}_{t+1}=r_{\omega }({\hat{s}}_t,a_t,g_t),$$

$${\hat{\bar{o}}}_t=g_{\omega }({\hat{s}}_t,\xi ),{\hat{d}}_t=d_{\omega }({\hat{s}}_t,g_t).$$

其中世界模型同时提供状态、奖励、无噪声观测和终止概率；各 head 可以用网络学习，也可由状态解析计算。不能简单说论文把所有 reward、observation 都训练成神经网络。

$\xi$ 的主要内容有：摩擦系数、关节标零偏差和躯干质心偏差。观测噪声被分离为：

$$o_t={\bar{o}}_t+{\eta }_t,{\eta }_t\sim {\rho }_{\eta }.$$

模型预测的是 ${\bar{o}}_t$，策略展开时再从已知噪声分布重新采样 ${\eta }_t$，因此不会要求网络凭空预测随机传感器噪声。

5.2 世界模型的 8 步自回归学习

原论文式 (1)：

$${\mathcal{L}}_{\mathrm{WM}}(\omega )={\mathbb{E}}_{\mathcal{B}}\left[\sum _{j=1}^k\left(\Vert {\hat{s}}_j-s_j{\Vert }^2+({\hat{r}}_j-r_j{)}^2+\Vert {\hat{\bar{o}}}_j-{\bar{o}}_j{\Vert }^2+\mathrm{BCE}({\hat{d}}_j,d_j)\right)\right],k=8.$$

对于解析计算的 head，其对应监督项不进入实际训练损失。状态 ${\hat{s}}_0=s_0$ 从回放片段首帧初始化，随后按真实执行过的动作依次展开八步；这一过程使网络不仅拟合单步转移，还学习从自己略有误差的状态继续预测。论文在 §3.3 称，这种自回归训练可帮助长时间展开保持稳定；但8 步损失本身并不构成对无限时域误差的数学保证。

5.3 训练与决策中随机性的不同角色

仿真采样阶段执行的是：

$$a_t^{\mathrm{exec}}={\pi }_{\theta }(o_t,g_t)+{ϵ}_t,{ϵ}_t\sim \mathcal{N}(0,0.1^{2}I).$$

带噪动作写入 Replay Buffer，以扩大模型拟合覆盖的控制输入范围。想象策略本身是确定性的，传感噪声用于构造带噪观测。将动作采集噪声当成 PPO 的概率策略、或认为世界模型需要预测动作噪声，均会导致误解。

---

6. 通过 BPTT 直接优化策略：与 PPO 的根本区别

6.1 软存活权重与可微终止

普通模拟轨迹可能因为摔倒而提前终止，但 d t ∈ { 0 , 1 } d_t\in\{0,1\} dt​∈{0,1} 是不连续的。为让想象优化可微，世界模型输出 ${\hat{d}}_t\in [0,1]$，并采用存活权重：

$${\hat{c}}_0=1,{\hat{c}}_{t+1}={\hat{c}}_t(1-{\hat{d}}_{t+1}).$$

策略回报不再只依赖硬式成功/失败，而以软概率削弱预计终止后的累计奖励。需要注意：可微终止是训练近似，不代表真实系统安全事件变得连续或可微。

6.2 短时域想象 + 终端 Critic：论文式 (2)

$$\hat{J}(\theta )={\mathbb{E}}_{s_0\sim {\rho }_0,{\pi }_{\theta }}\left[\sum _{t=0}^{H-1}{\gamma }^t{\hat{c}}_t{\hat{r}}_{t+1}+{\gamma }^H{\hat{c}}_H{V}_{\psi }({\hat{s}}_H,g_H,\xi )\right],H=32.$$

原文折扣为 $\gamma =0.99$。$V_{\psi }$ 对超过 32 步想象时域的长期价值进行 bootstrap。BPTT 沿世界模型的状态转移链把未来奖励的梯度传到早期动作和策略网络：

$${\nabla }_{\theta }\hat{J}=\sum _{t=0}^{H-1}\frac{\partial \hat{J}}{\partial a_t}\frac{\partial {\pi }_{\theta }(o_t,g_t)}{\partial \theta }+\text{经状态递推产生的跨步依赖项}.$$

上式是梯度流的解释性表达，不是原论文额外编号公式；实际自动微分计算的是整个展开图的链式导数。世界模型权重 $\omega$ 在此步不更新，但其状态和动作 Jacobian 参与反向传播。

对比之下，PPO 典型策略梯度采用：

$${\nabla }_{\theta }J\approx \mathbb{E}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t\mid o_t,g_t){\hat{A}}_t\right],$$

本式为通用 PPO 梯度原理，不是 SuperMimic 原式。PPO 不需要环境导数，却依赖随机采样估计；SuperMimic 则利用可微世界模型的动作敏感性，在模型局部准确且想象时域较短的前提下降低梯度估计方差。

6.3 Critic 的训练：原论文式 (3)

$${\mathcal{L}}_V(\psi )=\mathbb{E}\left[\sum _{t=0}^{H-1}{\left(V_t-{\hat{R}}_t\right)}^2\right],V_t=V_{\psi }({\hat{s}}_t,g_t,\xi ),$$

$${\hat{R}}_t={\hat{r}}_{t+1}+\gamma (1-{\hat{d}}_{t+1})\left[(1-\lambda )V_{t+1}+\lambda {\hat{R}}_{t+1}\right],{\hat{R}}_H=V_H,\lambda =\mathrm{0.95.}$$

这里的 ${\hat{R}}_t$ 是想象轨迹上的 GAE 式递推目标，在拟合 Critic 时保持固定。Critic 并非 PPO 独占；它在这里承担的主要任务是 弥补 32 步或更短想象时域外的回报信息，尤其对摔倒后的恢复、抗推扰等延迟出现收益的任务有意义。

---

7. 奖励函数：如何继承和修改 BeyondMimic

7.1 六类主要运动跟踪奖励

论文采用 BeyondMimic 的全身跟踪形式，但移除了自碰撞惩罚、并将关节限位惩罚的权重从 $-10$ 调至 $-2$。令 $\mathcal{T}$ 为需要跟踪的刚体集合，$\log :R\mapsto {\mathbb{R}}^3$ 表示旋转矩阵对数映射，以下为附录 Table A.2 的结构。

表 4　运动跟踪奖励（原论文 Table A.2）

表：SuperMimic 运动模仿奖励函数及权重

类别	奖励项	奖励函数	权重
全身	Body Position	$\exp \left(-\frac{{\sum }_{b\in \mathcal{T}}\Vert p_b^{\mathrm{des}}-p_b{\Vert }^2}{|\mathcal{T}|\cdot 0.3^2}\right)$	+1.0
全身	Body Orientation	$\exp \left(-\frac{{\sum }_{b\in \mathcal{T}}\Vert \log (R_b^{\mathrm{des}}{R}_b^{\top }){\Vert }^2}{|\mathcal{T}|\cdot 0.4^2}\right)$	+1.0
全身	Body Linear Velocity	$\exp \left(-\frac{{\sum }_{b\in \mathcal{T}}\Vert v_b^{\mathrm{des}}-v_b{\Vert }^2}{|\mathcal{T}|\cdot 1.0^2}\right)$	+1.0
全身	Body Angular Velocity	$\exp \left(-\frac{{\sum }_{b\in \mathcal{T}}\Vert {\omega }_b^{\mathrm{des}}-{\omega }_b{\Vert }^2}{|\mathcal{T}|\cdot 3.14^2}\right)$	+1.0
根部	Root Position	$\exp \left(-\frac{\Vert p_{\mathrm{root}}^{\mathrm{des}}-p_{\mathrm{root}}{\Vert }^2}{0.3^2}\right)$	+0.5
根部	Root Orientation	$\exp \left(-\frac{\Vert \log (R_{\mathrm{root}}^{\mathrm{des}}{R}_{\mathrm{root}}^{\top }){\Vert }^2}{0.4^2}\right)$	+0.5
正则	Action Smoothness	$\Vert a_t-a_{t-1}{\Vert }^2$	−0.1
正则	Joint Limit	${\sum }_j\left[\max (0,q_j-q_j^{\max })+\max (0,q_j^{\min }-q_j)\right]$	−2.0

所有奖励项在实际控制步计算时均乘以 $\Delta t=0.02\mathrm{s}$（原论文 Table A.6 注释）。表中的 $\log (R)$ 是 SO(3) 旋转向量映射，不是欧拉角三个分量直接相减。

7.2 为什么移除 self-collision penalty

作者说明，在带随机动作噪声的策略中，当参考运动存在相邻但无接触的身体部位时，策略可能通过主动压紧身体来抑制动作噪声，从而不合理地提高速度跟踪分数，自碰撞项能够限制这种奖励漏洞。但本文想象展开使用确定性动作策略，不存在同样的随机噪声获益机制，因此作者删除该项。这并不等于论文从形式上证明所有自碰撞都安全，而是针对该训练设置的奖励修改。

7.3 终止条件

默认运动跟踪在以下任一条件满足时终止：

$$|e_{p,z}|>0.25\mathrm{m}\text{或}{e}_{\mathrm{tilt}}>\mathrm{0.8.}$$

其中 $e_{\mathrm{tilt}}$ 比较机器人和参考根部坐标系内重力方向的 $z$ 分量。对于直立参考，阈值约相当于 $78^{\circ }$ 倾斜；论文不因末端执行器偏差而终止。这也说明它与 SONIC 自身的成功/失败规则并不完全一致。

---

8. 域随机化、运动数据与样本调度

8.1 物理参数随机化

表 5　世界模型可见的 Sim Context（原论文 Table A.3）

参数	分布	用途
摩擦系数 $\mu$	$\mathcal{U}[0.3,1.2]$	脚地接触变化
关节标定偏差 $\Delta q_j^0$	$\mathcal{U}[-0.01,0.01]$ rad	安装与零点偏移
躯干质心 $\Delta x$	$\mathcal{U}[-0.025,0.025]$ m	质量分布变化
躯干质心 $\Delta y$	$\mathcal{U}[-0.05,0.05]$ m	横向偏差
躯干质心 $\Delta z$	$\mathcal{U}[-0.05,0.05]$ m	竖直偏差

论文特意去除了 BeyondMimic 的根部速度外力扰动随机化，理由是突发状态跃迁不易被当前确定性世界模型捕捉。论文虽在 §4.3 把速度推扰当作测试任务，但不能反向写成训练时注入了同等根部速度突变。

8.2 BONES-SEED 数据过滤与可行性

原始数据为已重定向到 Unitree G1 的 BONES-SEED，包含 142,220 条片段。按动作名删除对楼梯、桌椅、箱子、梯子等外界物体或非水平支撑面的依赖后，再用 MuJoCo 前向运动学识别穿模、悬空站立和依靠高处支撑等不具备平地物理可行性的片段，最终保留 129,514 条。

表 6　数据筛选结果（原论文 Table A.7）

阶段	动作数量	去除数量
原始 G1 重定向 BONES-SEED	142,220	—
动作名称过滤后	129,667	12,553
物理可行性过滤后	129,514	153

这不是一个可任意跨楼梯、梯子或障碍地形的泛化数据集：训练运动库被明确筛选为平地可执行的自由站立人体动作。实际 BONES-SEED 使用量约 264.56 小时。

8.3 按回报采样初始状态

策略并不只从动作开头训练。训练把动作时间轴划分为 1 s 的小段，每段维护折扣回报的运行估计 $G_b$；每次重新初始化时混合：

• 50%：均匀抽样各时间片；
• 40%：按 ${\mathrm{softmax}}_b(-25G_b/G_{\max })$ 偏向困难片段；
• 10%：按照历史 softmax 权重继续抽样，以防已经掌握的困难动作被过早忽略。

这里的时间片重点采样类似于动作跟踪任务的自适应课程学习，但它不是通过人类标记动作难度，也不是只按关节误差固定权重抽样。

---

9. 计算效率、扩展规律与 PPO-Sim 对比

9.1 大规模计算开销

图 3（原论文 Figure 3）SuperMimic 与 SONIC 的回报及 GPU-hours 对比，以及数据量扩大时的目标回报计算成本和 8 步预测误差。来源：Liao et al., arXiv:2610.28480v1, Figure 3，PDF 第 7 页。核对原图。

图 3(a) 显示一张 H100 训练约 3 h 后，SuperMimic 在统一动作库的归一化回报超过 SONIC 检查点的约 0.90。SONIC 的计算为 $128\times 168=21,504$ GPU-h（论文约记 21k），SuperMimic 为 3 GPU-h；保守说减少超过 1000 倍 GPU-hours。但二者的模型、数据量、GPU 架构并不完全一致：SONIC 的原训练数据为 611 h，SuperMimic 为 264.56 h；不可把这次跨系统对比说成严格控制所有自变量的消融实验。

图 3(b, c) 的独立扩展扫描覆盖 1、7、40、264 h 的动作规模。8 步状态预测误差维持在约 0.007–0.011 的区间，而达到目标回报所需的 GPU-h 增长相对缓慢，支持“同一个世界模型共享机器人动力学”的解释。该结果不等于已经从理论上证明任意动作集规模下都会保持稳定的幂律缩放关系。

9.2 与直接在模拟器中训练 PPO 的受控对比

图 4（原论文 Figure 4）受控 PPO-Sim 对比与 Critic/想象时域实验。左：使用 LAFAN1 的训练时间与回报曲线；右：不同 $H$ 和是否使用 Critic 的最终回报及达到 0.82 回报的时间。来源：Liao et al., arXiv:2610.28480v1, Figure 4，PDF 第 7 页。核对原图。

在 40 条 LAFAN1、约 2.45 h 的受控数据上，PPO-Sim 与 SuperMimic 使用相同的动作数据、观测、奖励、终止条件、域随机化、演员及 Critic 网络大小和评测协议。SuperMimic 在 1 张 H100 上约 1.2 h 达到评测回报 0.82；PPO-Sim 在总计 18 h 内未达到，分别使用 1、4、8 张 GPU 的最终回报约为 0.60、0.70、0.72。该对比比跨论文与 SONIC 比较更有利于解释算法差异，但也不能简单归因于一个单独改动，因为世界模型学习、想象速度及梯度优化结合发挥作用。

9.3 世界模型的速度与解析梯度分别贡献了什么

图 5（原论文 Figure 5）世界模型与 MuJoCo Warp 在 H100 上的吞吐量对比，以及 SuperMimic 的解析梯度更新与 PPO-WM 的想象步数对比。来源：Liao et al., arXiv:2610.28480v1, Figure 5，PDF 第 8 页。核对原图。

图 5(a)：实际使用的 2k–16k 并行环境范围内，世界模型运行速度超过 MuJoCo Warp 的 10 倍；并行扩展到约 64k 时差距扩大至 62 倍。这来自可批处理神经网络状态递推替代完整刚体接触求解。

图 5(b)：为了将快仿真与更高效的梯度分开，作者引入 PPO-WM：它同样在学习到的世界模型上采样，但用 PPO 优化策略，而 SuperMimic 直接通过状态转移求导。在 LAFAN1 walk/run/sprint 上，SuperMimic 达到 PPO-WM 最优训练回报所需的想象步数约减少 64 倍。因此，论文不只是“把 MuJoCo 换成一个快一点的仿真器”，还提供了对梯度利用率的机制验证。

---

10. Critic 消融：短时域预测为什么仍能恢复平衡

图 4(b,c) 给出不同想象长度 H ∈ { 8 , 16 , 32 , 64 , 128 } H\in\{8,16,32,64,128\} H∈{8,16,32,64,128} 下的效果。论文观察到：

• 无 Critic 时，$H\le 16$ 无法成功训练到目标回报；有 Critic 时，$H=16$ 可达到不使用 Critic 的 $H=32$ 的效果。
• 默认 $H=32$ 达到目标训练回报 0.82 最快，较长并不总更好。
• 从 $H=64$ 扩展至 $H=128$ 使达到目标回报所需时间接近增至三倍，而且最终训练回报下降；$H=128$ 已是 H100 上能容纳的最长测试想象长度。
• 在静态 T-pose 受 0.5–4 m/s 的速度推扰实验中，带 Critic 的策略约在 0.5–2.4 s 内重新稳定；不带 Critic 的策略在 0.5 m/s 下仍持续踉跄，在 4 m/s 下摔倒。

这说明 Critic 改变的不只是收敛速度，还涉及超出短预测窗口才体现收益的恢复行为。高动态接触运动需要短时域可微控制和长期价值预测协作，不能靠盲目加长世界模型展开时域解决所有问题。

---

11. 真机实验：Unitree G1 的高动态全身运动

图 6（原论文 Figure 6）同一个动作跟踪策略在真实 Unitree G1 上完成 (a) skipping jump（跳步）、(b) side roll（侧滚翻）、© 90° flip（90°翻转）、(d) in-place 360° flip（原地 360°翻转）。来源：Liao et al., arXiv:2610.28480v1, Figure 6，PDF 第 9 页。核对原图。

真机实验的关键是同一个通用动作跟踪策略无需针对 Figure 6 每个动作单独微调，即可执行这些运动。它支持模型学习的动力学先验和域随机化具有一定硬件迁移价值，而不仅能在神经世界模型中生成看似合理的动作。

但 Figure 6 并非完整的 129,514 条真实硬件测试。论文未给出大规模真机动作成功率的逐条统计，也未宣称平台能够在任意地形或搬运物体时获得同等表现。仿真零失败与真机零失败是两个不同命题。

---

12. 多任务接口：共享动作解码器与下游速度控制

12.1 运动编码器、速度编码器及共享解码器

默认策略以完整运动参考为目标；下游系统希望只给 $(v_x,v_y,{\omega }_z)$ 速度命令也能使用此前学得的全身动作技能。论文在附录 B 设计多接口结构：

$$z={\mathrm{enc}}_{\theta ,i}(g)\in {\mathbb{R}}^{32},a={\mathrm{dec}}_{\theta }(z,o),g\in {\mathcal{G}}_i.$$

每个任务接口 $i$ 具有独立 goal encoder 和独立 Critic，但共享 32 维潜空间、动作解码器和世界模型。世界模型不因每个新的下游任务重新学习机器人动力学。

训练速度接口时，作者比较两种方式：

1. Distillation（蒸馏）：从参考运动提取速度命令，仍优化运动跟踪奖励，使速度编码器模仿参考运动所产生的潜变量/动作。
2. RL-trained encoder（基于下游奖励的编码器训练）：使用速度误差和姿态正则构造任务特有奖励，沿世界模型梯度直接优化速度编码器；对共享解码器施加 stop-gradient，避免速度任务把已有动作表征整体改坏。

此外，RL 编码器在带参考命令的展开中，用权重 0.1 的潜变量 MSE 使速度表示靠近运动编码器的参考 latent。

12.2 速度接口训练数据与网络结构

速度命令为 $g_t=(v_x,v_y,{\omega }_z)$，其中 $v_x,v_y$ 为 heading-frame 水平速度，${\omega }_z$ 为世界系 yaw 角速度。训练中以一定概率使用参考动作平均速度，或者随机采样目标指令：

$$v_x\in [-1.5,2]m/s,v_y\in [-1.32,1.32]m/s,{\omega }_z\in [-3.35,3.35]rad/s.$$

其中特定采样源有 0.1 的原地站立（零命令）概率；每 250 控制步（5 s）或重置时重新选择命令来源。速度接口和跟踪接口各占一半的 4096 个模拟环境与想象 batch，共同训练 100,000 轮。与概念性的 Algorithm A.1 一次抽一个接口不同，这组实际实验的每个 batch 混合两种接口。

12.3 速度控制实验

图 7（原论文 Figure 7）RL 训练的速度编码器与蒸馏编码器在 672 条速度阶跃命令上的稳态跟踪对比。各点为一个命令，颜色表示较优策略，圆环面积编码相对稳态误差。来源：Liao et al., arXiv:2610.28480v1, Figure 7，PDF 第 9 页。核对原图。

作者对 672 个速度阶跃命令进行测试：RL 速度编码器在 650 个命令上的稳态误差较低，蒸馏方法在 15 个更好；其余 7 个为蒸馏策略在高速转向情况下跌倒。结果证明即便不重训世界模型，也可以通过下游任务奖励在共享动作表征上学习更合适的任务接口；但本文研究还属于初步展示，不能据此认为各种稀疏目标或复杂操作任务都能稳定复用该共享解码器。

---

13. 网络结构、训练超参数与复现要点

13.1 实际网络结构

表 7　网络结构（原论文 Table A.4）

网络	主要输入	输出	MLP 隐层宽度
Dynamics $f_{\omega }$	状态、动作、环境上下文	下一状态	(2048, 2048, 2048)
Motion encoder	未来 10 帧动作参考	32 维 $z$	(2048, 1024, 512, 256)
Velocity encoder	速度指令及 10 帧历史特征	32 维 $z$	(256, 256)
Shared decoder	32 维 $z$、10 帧本体历史	29 维动作	(2048, 1024, 512, 256)
Critic	状态、目标与环境上下文	标量价值	(256, 128)

上述为论文明确列出的主要网络层规模。与带图像 backbone 的 VLA 不同，该方法不使用大语言模型、视觉编码器或扩散 Transformer 作为主运动控制模型。

13.2 主要训练参数

表 8　训练参数（原论文 Table A.5）

参数	设置
物理仿真器	MuJoCo Warp
控制周期	$\Delta t=0.02\mathrm{s}$，50 Hz
单控制周期仿真子步	4×5 ms
世界模型拟合窗口 $k$	8
世界模型优化器	Adam
世界模型学习率	1 GPU：$2\times 10^{-4}$；2 GPU：$\sqrt{2}\times 2\times 10^{-4}$
世界模型更新 batch	每次 10 个 batch，每 batch 2048 段窗口
想象时域 $H$	32
想象策略 batch	4096 条 imagined rollouts / update
策略优化器	Adam，$\beta =(0.9,0.95)$
Critic GAE 参数	$\lambda =0.95$
折扣因子	$\gamma =0.99$
Critic 更新	每轮 5 epoch，每 epoch 4 个打乱的小批次
仿真并行规模	每张 GPU 4096 个环境
动作采样噪声	$\mathcal{N}(0,0.1^2)$，逐关节
Replay Buffer	每个环境保留 1000 步
Update-to-Data Ratio	0.4
每次世界模型更新对应策略更新	1
学习率调度	250k 次内余弦降至初值 $0.03$ 倍，此后保持
训练总迭代	320k
多 GPU	数据并行、梯度跨卡平均

梯度裁剪方面，世界模型梯度全局范数限制为 1.0；策略先裁剪到全局范数 1.0，再进行逐元素 0.1 裁剪；Critic 同样有 1.0 的全局范数限制。

13.3 训练伪代码（由原论文 Algorithm A.1 翻译整理）

initialize dynamics f_ω, policy π_θ, critic V_ψ, replay buffer B
for iteration in training_iterations:
    # 1. Collect genuine simulator transitions
    sample reset points from the motion library
    rollout π_θ in MuJoCo Warp with exploration action noise
    insert simulator transitions and randomization context into B

    # 2. Fit the world model on logged 8-step windows
    sample replay windows (s_0, a_0, ..., s_8, ξ)
    autoregressively predict states, rewards, observations, terminations
    update ω by descending L_WM

    # 3. Optimize policy through the temporarily frozen model
    sample s_0 and ξ from B
    imagine H=32 steps with π_θ and f_ω (stop-gradient on ω)
    ascend the differentiable return J_hat w.r.t. θ using BPTT
    fit V_ψ to fixed GAE targets of the imagined trajectories
end for

复现风险：论文给出网络与超参数，却不意味着仅按表格即可立即训练得到完全相同效果。MuJoCo XML/actuator 增益、reference retarget 的坐标和关节序、世界模型状态封装、PD 的动作比例、失败判据、Replay 的采样实现与实际软件版本都会影响收敛。不能擅自填充论文没有给出的物理参数数值。

---

14. 动作失败评估：统一判据及完整类别数据

论文按照同一套评估设置逐条从首帧运行 129,514 条动作：脚地摩擦取 1.0，不加域随机化与观测噪声，使用确定性物理仿真；按 SuperMimic 的训练终止条件定义是否失败，SONIC 使用其官方发布的策略检查点。注意 SONIC 自己的成功判据不同，因此采用统一评估规则是必要的。

表 9　训练动作库的失败数量（原论文 Table A.8）

动作类别（条数）	SONIC	SuperMimic 1 GPU × 3 h	SuperMimic 2 GPU × 9.8 h
侧滚翻 (22)	22	2	0
翻转 360°/180°/90° (44)	44	1	0
Fire-in-the-hole turns (20)	3	3	0
交叉腿部 (10)	9	0	0
躺卧、休息与起立 (99)	28	8	0
远距离跳跃 (24)	15	0	0
舞蹈片段 (8)	8	0	0
其他动作 (129,287)	50	11	0
总计 (129,514)	179	25	0

图 A.1（原论文 Figure A.1）SuperMimic 在训练过程中的失败动作数量变化；SONIC 检查点失败数量为 179。来源：Liao et al., arXiv:2610.28480v1, Appendix F, Figure A.1，PDF 第 18 页。核对原图。

图 A.1 与表 9 表明，SuperMimic 在所选训练动作上具有较强覆盖能力；它不等价于“129,514 个未知任务泛化零失败”，因为所有这些片段都来自其训练动作库。论文附录也指出，SONIC v1.1 另一个检查点在该统一评估下失败 239 条，而主要对比使用 SONIC 的 released checkpoint（179 条）。

---

15. 主要创新点与学术贡献

15.1 一个可微动力学模型摊销整个参考动作库

以已记录的刚体仿真状态转移为监督学习环境动力学，把不同行为共享的机器人本体动力学、接触变化和参数随机化统一编码到 $f_{\omega }$。这使数据规模扩大时不必为每条动作独立学习全新物理模型，是计算扩展改善的核心解释。

15.2 通过短时域 BPTT 获得低方差策略梯度

使用世界模型的状态和动作 Jacobian，直接对短时域想象回报求导，并以 Critic 处理远期价值。与直接把神经世界模型当作更快的 PPO 采样器不同，Fig. 5(b) 将解析梯度本身的样本效率贡献单独验证。

15.3 与普通、非可微的刚体接触仿真器兼容

SuperMimic 无需让 MuJoCo Warp 的非光滑碰撞求解器贯穿反向传播。仿真器只负责产生真实状态转移标签，自动微分发生在神经世界模型里，从工程上更容易与标准刚体仿真框架结合。

15.4 持续更新世界模型而不是依赖一次性离线拟合

策略变化会把访问状态分布推向新的动作和接触区域，Replay + 在线世界模型拟合会不断补充这些区域的训练标签。这有助于减轻离线模型被策略反复利用时容易出现的 out-of-distribution 问题，但不能彻底消除模型偏差。

15.5 将大规模计算降至单卡实验可承担水平

论文提供跨 SONIC 的计算对比、受控 PPO-Sim 对比、PPO-WM 机制实验，以及 1–264 h 数据量和预测误差扫描；这些实验从整体效率、同环境算法性能、想象求导机制和规模扩展四个角度支持所提方法。

15.6 把共享控制表征扩展到不同下游接口

运动参考和速度命令采用独立的 goal encoder，基于共同动作解码器和共同世界模型执行；速度 RL encoder 在 672 个命令的阶跃评测中多数命令优于蒸馏接口，体现了以任务奖励直接优化新控制接口的潜力。

15.7 在真实 Unitree G1 上进行代表性高动态动作验证

同一个跟踪策略跨多类动作执行、无须每条动作单独微调，说明这种世界模型训练路线可以服务于实体人形机器人，而不仅是虚拟动画或神经仿真演示。

---

16. 参考文献与复现入口

1. Liao, Q., Shao, Y., Long, J., et al. SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model. Conference on Robot Learning (CoRL), 2026. arXiv｜PDF｜项目主页。
2. Luo, Z., Yuan, Y., Wang, T., et al. SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control. Science Robotics, 11(117):eaed4592, 2026. 项目页｜DOI。
3. Liao, Q., Truong, T. E., Huang, X., et al. BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion. Science Robotics, 11(117):eadx8924, 2026. DOI。
4. Peng, X. B., Abbeel, P., Levine, S., van de Panne, M. DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills. ACM TOG, 37(4), 2018. DOI。
5. Schulman, J., Wolski, F., Dhariwal, P., et al. Proximal Policy Optimization Algorithms. 2017. arXiv。
6. Xu, J., Makoviychuk, V., Narang, Y., et al. Accelerated Policy Learning with Parallel Differentiable Simulation（SHAC 相关方法）. ICLR, 2022. OpenReview。
7. Lei, Y., Luo, Z., He, T., et al. Scalable Humanoid Whole-Body Control via Differentiable Neural Network Dynamics（SuperDyno）. ICLR 2025 Workshop on World Models. OpenReview PDF。
8. Bones Studio. BONES-SEED: Skeletal Everyday Embodiment Dataset. 2026. Hugging Face 数据集。
9. Harvey, F. G., Yurick, M., Nowrouzezahrai, D., Pal, C. Robust Motion In-Betweening（LAFAN1）. ACM TOG, 39(4), 2020. DOI。