前言

• 相信近来关注机器人领域的朋友们，都已经注意到了一篇全新的 SOTA 工作——SuperMimic：Scaling Humanoid Whole-Body Control with One Differentiable World Model。

• 这项工作来自加州大学伯克利分校，入选 CoRL 2026 Oral。它提出了一种基于可微世界模型的人形机器人全身控制方法，试图解决大规模动作模仿学习中，传统无模型强化学习训练成本过高的问题。

  • 论文展示了一个相当惊人的结果：SuperMimic 仅使用 1 张 H100 GPU 训练 3 小时，便超过了使用 128 张 L40 GPU、训练 7 天的 SONIC 基线模型的归一化回报；在 2 张 GPU 上训练 9.8 小时后，测试的 129,514 段动作中更是实现了零失败。训练得到的策略还能够迁移到真实的 Unitree G1 人形机器人上。

• 与传统 PPO 不断采样、更新策略的方式不同，SuperMimic 学习了一个可微的世界模型，并在模型生成的想象轨迹中，通过时间反向传播（BPTT）计算策略梯度。这样一来，策略便不再完全依赖与仿真环境反复交互来获得优化信号。

• 因此，本文将从论文出发，逐步拆解 SuperMimic 的核心实现。

需要说明的是，截至本文撰写时，作者尚未公开 SuperMimic 的完整训练源码，但其核心思想已受到社区关注，并出现了相关复现与借鉴工作。因此，本文主要依据论文内容，对其核心架构与训练机制进行拆解。

---

---

0 回顾

0-1 PPO 随机性策略

• 关于PPO，我们曾经在【PPO完全解构】从一次 rollout 到一次权重更新，附带训练曲线判读与策略部署 中提到过，感兴趣的朋友可以去回顾一下。
• 后文多处要把 SuperMimic 与 PPO（Proximal Policy Optimization，近端策略优化）放在一起对照，这里先把 PPO 的策略形态与梯度来源完整回顾一遍。后文再提到 PPO，只补充与 SuperMimic 相关的那一面，基础机制以本节为准。

0-1-1 PPO

• PPO 的策略是一个条件分布，而不是确定性映射。策略网络输出的是分布参数，动作由采样得到，连续动作任务中通常取对角高斯，写成$${\pi }_{\theta }\left(a\mid o,g\right)=\mathcal{N}\left({\mu }_{\theta }\left(o,g\right),{\sigma }_{\theta }^2\left(o,g\right)\right),a={\mu }_{\theta }\left(o,g\right)+{\sigma }_{\theta }\left(o,g\right)\odot \epsilon ,\epsilon \sim \mathcal{N}\left(0,I\right)$$其中：
  • ${\mu }_{\theta }$：均值网络，给出动作分布的中心
  • ${\sigma }_{\theta }$：标准差，可以取与输入无关的可学习标量，也可以逐维输出
  • $o$、$g$：观测与目标，人形任务中观测通常还要堆叠若干帧历史
  • $\epsilon$：标准正态噪声，采样之后才成为真正执行的动作
• 训练目标是期望折扣回报，写成$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}\right]$$其中：
  • $\gamma$：折扣因子
  • $T$：回合长度
  • $r_{t+1}$：执行第 $t$ 步动作后得到的奖励

0-1-2 Actor 策略梯度

• 难点在于回报由仿真器给出，是动作经过接触、摩擦、积分之后才产生的标量，对策略参数没有可用的导数。策略梯度用似然比恒等式绕开这一步，写成$${\nabla }_{\theta }J(\theta )=\mathbb{E}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid o_t,g_t\right){\hat{A}}_t\right]$$其中：
  • ${\hat{A}}_t$：优势估计，表示这一步动作相对平均水平好多少
  • ${\nabla }_{\theta }\log {\pi }_{\theta }$：得分函数，方向指向提高该动作被采样到的概率
• 这条公式的读法是：动作带来正的优势就提高它的概率，带来负的优势就降低它的概率。梯度表达式里既没有动力学，也没有回报对动作的导数，因此 PPO 不要求环境可微，这是它适用于黑箱仿真器的原因。
• 代价是梯度估计的方差，它与另外两项代价一起放在 0-2 说明。

说人话：PPO 无法直接计算动作变化对最终回报的影响，因此先通过仿真采样，再根据优势估计调整动作概率：表现好的动作提高采样概率，表现差的动作降低采样概率。它不需要仿真器可微，但需要大量采样来估计可靠的策略梯度。

0-1-3 Critic 优势估计

• 优势通常由评论家估计。广义优势估计（GAE，Generalized Advantage Estimation）把多步时序差分误差按 $\lambda$ 加权，写成$${\hat{A}}_t=\sum _{l=0}^{T-t-1}{\left(\gamma \lambda \right)}^l{\delta }_{t+l},{\delta }_t=r_{t+1}+\gamma V_{\psi }\left(o_{t+1},g_{t+1}\right)-V_{\psi }\left(o_t,g_t\right)$$其中：
  • $V_{\psi }$：评论家，估计从当前观测与目标出发的回报
  • $\lambda$：偏差与方差的折中系数
  • ${\delta }_t$：单步时序差分误差

0-1-4 梯度裁剪

• 更新时 PPO 用重要性采样比衡量新旧策略的偏离，并用裁剪限制单次更新的幅度，写成$$r_t(\theta )=\frac{{\pi }_{\theta }\left(a_t\mid o_t,g_t\right)}{{\pi }_{{\theta }_{\mathrm{old}}}\left(a_t\mid o_t,g_t\right)},L^{\mathrm{CLIP}}(\theta )=\mathbb{E}\left[\min \left(r_t(\theta ){\hat{A}}_t,\mathrm{clip}\left(r_t(\theta ),1-ϵ,1+ϵ\right){\hat{A}}_t\right)\right]$$其中：
  • ${\theta }_{\mathrm{old}}$：采集这批数据时的策略参数
  • $r_t$：新旧策略在同一步动作上的概率比
  • $ϵ$：裁剪范围，常用 0.2
• 最大化目标里还有熵正则项 $+\beta \mathbb{E}\left[\mathcal{H}\left({\pi }_{\theta }\left(\cdot \mid o_t,g_t\right)\right)\right]$，鼓励策略保持随机，避免过早塌缩到少数动作上。随机性在这里承担两项功能：它是似然比梯度的前提，没有概率密度就没有得分函数；熵正则则负责在训练中维持探索。
• 把整个循环写出来是：用当前策略与仿真器交互采样，估计优势，对同一批数据做若干轮小批量裁剪更新，然后丢弃数据重新采样。重要性与裁剪只允许同一批数据复用有限轮，这是同策略（on-policy）方法的特征。样本效率的瓶颈落在第一步，策略每改进一点，就要重新付出仿真步的代价。
• 后文用到 PPO 的地方只依赖三条结论：策略输出分布，梯度从动作概率里估计，改进依赖新采样。2-2-1-1 讨论确定性策略为何可能，2-4-5 讨论梯度如何沿世界模型回到 Actor，2-6-5 逐项对照，都以本节为参照。

说人话：PPO 只能一遍遍试，再根据"哪个动作碰巧表现好"去调整这个动作被选中的概率；要分清是运气还是本事，就只能多试，仿真步数因此成为上限。

0-2 一次替换的代价

• PPO 的全部机制都建立在一个替换上：把"回报对动作的导数"换成"动作概率的对数导数"
• 严格说来，被替换的不是某一个导数，而是求 ${\nabla }_{\theta }J$ 的两条路径
  • 想要的量是策略参数如何影响回报，即 ${\nabla }_{\theta }J(\theta )$
  • 直接路径要穿过动力学：动作如何改变状态、状态如何改变回报，中间隔着接触求解、摩擦约束与碰撞检测，黑箱里拿不到这段导数
  • 可走的路径只经过策略自己：采样一个动作，用它的对数概率对参数的导数乘上优势，在期望上等于 ${\nabla }_{\theta }J$
  • 似然比恒等式（0-1-2）保证两条路径在期望上相等，于是可以用后者代替前者
• 这次替换买到两样东西
  • 不要求环境可微，接触、摩擦与碰撞都可以是黑箱
  • 只需要采样到的动作与它的优势，不需要知道动作之后环境如何变化
• 代价有三项，后文逐条兑现
  • 梯度方差：每一步只给出一个标量优势作为权重，梯度方向来自得分函数而不是回报对动作的导数；要提高精度只能增加采样，估计误差按样本数的平方根下降，方差按样本数成反比下降
  • 策略必须是随机的：没有分布就没有 $\log {\pi }_{\theta }$，探索也要靠熵项维持
  • 数据只能用有限轮：重要性采样比只在旧策略附近有效，采完即弃

说人话：替换让梯度不再依赖动力学，代价是把成本从求导转移到采样

• 这个代价在动作库规模上被放大，是第 1 章的出发点；2-4-5 会说明可微世界模型如何把替换整个撤销。

1 局限

1-1 研究动机

• 大规模动作跟踪已经成为通用人形全身控制的主流路线，但它的训练成本增长得比动作库还快
  

• SONIC（Supersizing Motion Tracking for Natural Humanoid Whole-Body Control）是目前公开的规模上限：128 张 L40 训练 7 天，约 21,000 GPU 小时，动作数据 611 小时

  • 这类管线里，策略改进的每一次梯度都来自与仿真器的重新交互
  • 动作库从 40 段涨到 129,514 段，增加的不只是数据量，还有"每条动作都要重新探索、摔倒、恢复"的过程

• 问题的关键在于，这些交互里有大量重复

  • 所有动作都由同一台机器人执行，刚体惯量、关节传动、足地接触这些动力学是共用的
  • 但 PPO（Proximal Policy Optimization，近端策略优化）不显式表示这份共享知识，它只能通过参数间接记住，且每换一条动作就要再采样一遍
  • 结果就是训练成本随动作库近似线性增长，算力成了扩规模的硬瓶颈

• 论文的切入点正是这句话：把"所有动作共享的动力学"单独学成一个可微模型，让策略梯度从模型里直接算出来

说人话：现在的做法是每学一支舞都把机器人的物理规律重新体会一遍；SuperMimic 先把物理规律记在一张"可求导的笔记"上，之后每支舞都照着笔记练

1-2 Mimic、Latent 与 Downstream：三个训练阶段

• 在展开 SuperMimic 之前，先把人形控制里常说的三个阶段对齐一下
  • 模仿阶段（Mimic）：把参考动作映射成关节指令，目标是最小化跟踪误差
  • 隐表征阶段（Latent）：从跟踪策略里提炼与具体动作解耦的表征，常见做法是用变分自编码器，或者直接取教师策略的隐层
  • 下游阶段（Downstream）：在隐表征之上训练任务接口，比如速度指令、目标位姿、部分身体目标
• 三个阶段串起来是一条流水线：先训跟踪，再抽隐表征，最后训任务接口
• 相邻两段通常按序训练，后一阶段冻结前一阶段，所以链条越长，误差越容易累积，要和仿真器重新交互的次数也越多
• 这条流水线也解释了后文要反复出现的一个问题：每一段都在重复学同一份动力学

说人话：学跳舞分三步，先学会跟着参考动作动，再把动作压成一套通用表征，最后用这套表征学具体任务；三步各自都要从头练一遍

1-3 现有方法：PPO、模仿学习与分阶段训练

• 物理仿真动作模仿的起点是 DeepMimic（2018），它用 PPO 加参考动作奖励，让角色学会单条技能
• 此后的路线基本沿着两个方向扩

1-3-1 数据与容量

• 数据与容量： PHC 将动作模仿扩展到大规模动作集，并引入恢复策略；BeyondMimic 进一步统一动作跟踪目标，并探索基于扩散模型的下游应用；SONIC 则进一步扩大动作数据、模型容量与训练算力。
  • 这条路线不断提高动作库规模与策略能力，但也带来了更高的训练成本。当动作数量、模型规模和训练算力持续增长时，传统基于采样的策略优化仍然需要大量仿真交互来收集训练数据。

1-3-2 表征复用

• 表征复用：把跟踪策略中学到的运动表征抽出来，供下游任务接口使用，PULSE、LATENT、MaskedMimic 都属于这条线
  • 这条路线的重点不再只是让机器人复现参考动作，而是进一步从动作跟踪过程中学习可复用的运动先验或隐空间表征，再将其迁移到不同的下游任务中。这样，下游策略不必从零开始学习复杂的人体运动规律，而是可以利用已有的运动知识。

1-3-3 现有方法的局限

• 无论是扩大动作库与模型规模，还是复用预训练运动表征，现有方法的策略优化大多仍依赖基于采样的强化学习范式。以 PPO 为例，策略通过采样轨迹获得优势估计，再利用动作对数概率计算策略梯度。
  • 这种方式不要求动力学模型可微，具有较强的通用性，但策略更新依赖环境交互，训练效率容易受到采样成本的限制。

说人话：PPO 不需要提前了解机器人的动力学，只需要不断在仿真器中尝试动作，根据表现调整策略。但想让策略变好，就得反复采集大量轨迹，训练成本也会随之增加。

• 因此，一个自然的问题是：能否学习一个统一的可微动力学模型，让不同动作共享同一套动力学知识，并直接在模型内部展开轨迹、优化策略，从而降低对大规模仿真交互的依赖？
• 这正是 SuperMimic 尝试解决的问题。

• 论文用一张表把这几年的代表方法按阶段拆开，如下

• 表 1：不同方法在 Mimic、Latent、Downstream 三个阶段采用的训练策略
• 表里的 Task signal 列指的是训练下游接口的信号来源：接口自身的任务奖励，或者参考动作的跟踪信号
• 读这张表有三个要点
  • 同一行里合并的单元格表示两个阶段联合训练，相邻但不合并表示顺序训练，而且后一阶段要冻结前一阶段
  • 阶段越多、切得越碎，训练链条越长
  • 表里能跨三个阶段都用基于模型方法的只有 SuperMimic
• SuperMimic 这一行值得单独看
  • 三个训练列都落在 MBRL（Model-Based Reinforcement Learning，基于模型的强化学习）上，也就是三段共用同一个可微世界模型
  • 下游任务的信号既可以是蒸馏（Distill），也可以是任务自身的奖励（RL，Reinforcement Learning）
  • 最后一列标注了真机部署
• 换句话说，其他方法换阶段就要换训练方式，SuperMimic 换阶段只换目标接口

说人话：别人是每个阶段换一套功法，SuperMimic 是一套功法打三个阶段

1-4 从 Model-Free 到 Model-Based RL

• 强化学习按是否显式学习动力学，分成两条路
  • 无模型方法（Model-Free）不建动力学模型，直接估计价值或策略梯度，PPO 与 SAC（Soft Actor-Critic，软演员-评论家）都是
  • 基于模型的方法（Model-Based）先学一个环境模型，再在模型里做规划或策略改进，Dyna、Dreamer、TD-MPC 属于这一类（关于Dreamer、TD-MPC我们马上会在模型式强化学习 系列讲到）
• 两条路的差别落在一张对比表里

维度	无模型强化学习	基于模型的强化学习
信息源	与仿真器的真实交互	学到的动力学模型
梯度来源	采样动作的似然比估计	沿模型求导，或做规划与轨迹优化
样本效率	低，样本基本用一轮	高，同一段数据可反复用
主要误差	梯度方差	模型偏差
代表工作	PPO、SAC	Dreamer、TD-MPC、SHAC

• 两条路的取舍可以归到偏差与方差（Bias-Variance Tradeoff）
  • 无模型策略梯度不依赖动力学模型，对真实环境目标是无偏估计，但方差大，并随动作维度与轨迹长度增长
  • 基于模型的解析梯度直接利用动力学信息，方差更低，但模型不准时误差会进入梯度，形成系统性偏差
• 问题因此变成两件事同时做：把梯度方差降下来，把模型误差控制在可接受范围

1-4-1 可微仿真器与可微代理模型

• 一种直接的思路是让物理仿真器本身可微
  • SHAC（Short-Horizon Actor-Critic，短时域演员-评论家）通过可微物理仿真器展开短时域轨迹，把梯度反向传播到策略网络，在短时域策略优化上效果不错
  • 但接触求解、摩擦约束与碰撞检测难以直接求导，可微仿真器还要与具体物理引擎绑定
• 另一条思路是训练可微代理模型（Surrogate Model）
  • 不要求仿真器可微，只用它生成数据，再学一个预测状态转移的可微世界模型
  • 既保留真实仿真器的动力学数据，又能沿学到的模型反向传播
• SuperMimic 走的是后一条，也因此继承了代理模型的误差问题

1-4-2 三个设计控制模型误差

• SuperMimic 用三个设计把误差控制在可接受范围
  • 短时域想象：想象轨迹限制在 32 步，避免误差在过长的自回归预测中持续累积
  • 确定性建模：把已知的域随机化参数作为上下文输入，观测噪声在模型外部注入，减少模型需要拟合的随机性
  • 多步自回归训练：不只拟合单步状态转移，还用多步预测训练，使模型适应连续递推时的误差累积
• 时间反向传播（BPTT，Backpropagation Through Time）是这条路线接通的关键：策略生成的动作与世界模型预测的状态按时间展开成计算图，梯度沿时间反向传播，最终更新策略参数
• 具体实现与各项设计的效果在第 2 章展开

---

2 SuperMimic

2-1 介绍

2-1-1 论文信息

• 论文背景： SuperMimic（Scaling Humanoid Whole-Body Control with One Differentiable World Model）由加州大学伯克利分校七位研究者提出，入选 CoRL 2026 Oral，预印本发表于 2026 年 10 月 20 日（arXiv:2610.28480）。
  • Yiyang Shao、Junfeng Long 为共同一作，Pieter Abbeel、Koushil Sreenath 为共同通讯作者。
  • 研究聚焦人形机器人全身控制，采用基于模型的强化学习方法。
  • 项目主页：supermimic.github.io

• 核心问题： 当动作库从几十段扩展到十几万段时，如何避免训练成本随规模持续增长？
• 核心思路： 学习一个统一的可微世界模型，让整个动作库共享动力学知识，并在模型内部展开轨迹、优化策略，减少对仿真器交互采样的依赖。
  • 标题中的 One Differentiable World Model，指的就是用一个可微世界模型服务整个动作库。

2-1-2 研究目标与核心思想

• 论文的目标可以压成一句话：用一个世界模型、一个策略，覆盖整个动作库，并把训练成本压到单卡量级
• 三个结果支撑这句话
  • 单张 H100 训练 3 小时，在同一个 129,514 段动作的基准上超过 SONIC 已发布权重的归一化回报
  • 两张 H100 训练 9.8 小时后，该基准上零失败
  • 训练出的策略不做逐动作微调，直接迁移到真实 Unitree G1
• 核心思想有三层
  • 所有动作共享同一台机器人的刚体与接触动力学，这部分可以只学一次
  • 学到的模型必须可微，策略梯度才能沿动作直接反传，而不是靠采样估计
  • 模型只需要在短视界内准，更远的部分交给评论家自举
• 第一层是问题定义，第二层是方法，第三层是工程上的可行性保障
• 图 1 画的是这套思想在时间上的样子

• 图 1：世界模型沿动作序列展开，策略与模型在同一张计算图上完成前向与反向

2-1-3 SuperMimic 整体训练范式

• 整个训练是一个三步循环，每一步对应图 2 的一个面板
  1. 采集（Collection）： 当前策略在仿真器中加噪执行，将状态转移数据写入回放池。
  2. 拟合（World Model Learning）： 从回放池采样 $k$ 步窗口，通过自回归预测训练世界模型。
  3. 改进（Policy Learning）： 从回放池采样初始状态，在冻结的世界模型中想象 $H$ 步，并通过反向传播优化策略与评论家。
• 三个阶段在同一个训练循环中反复执行，回放池持续积累数据，世界模型与策略也交替更新。因此，这不是先训练好世界模型、再单独训练策略的两阶段流程，而是动力学学习与策略优化交替进行的联合训练过程。
• 论文给出的算法把顺序写得很明确
  1. 采集仿真数据并写入回放池，重置点根据回报进行采样。
  2. 采样 $k$ 步窗口，更新世界模型参数。
  3. 采样目标接口与初始状态，在冻结的世界模型中展开 $H$ 步想象轨迹。
  4. 利用想象轨迹反向传播，更新策略参数。
  5. 根据想象轨迹的广义优势估计（GAE）目标，更新评论家参数。
• 需要注意冻结机制： 世界模型只在策略优化阶段冻结参数，避免策略更新时改变动力学模型；但梯度仍然可以穿过世界模型反向传播到策略网络。进入下一轮迭代后，世界模型仍会正常更新。

2-1-4 架构对照：PPO 与可微世界模型

• 两个体系并排看，多出来的东西只有一个：把动力学也学成一个网络
  • 传统 PPO 里仿真器只提供数据，梯度从采样到的动作概率里估计，不碰动力学
  • SuperMimic 里仿真器同样只提供数据，但动力学被学成了可微模型，梯度从回报直接穿回来
• 总览图把两边的模块、数据边与梯度边画在一起，左边无模型，右边有模型

• 图里有两类边：实线是数据与更新的流向；点线表示策略更新时的世界模型，参数冻结，只参与前向计算，梯度可以穿过它回到策略，但不更新它的参数
• 四个模块的职责：仿真器产生真实状态转移，是唯一的数据来源；回放池既是世界模型的训练集，也是想象轨迹的起点库；世界模型在想象时顶替仿真器；策略出动作，评论家估视界之外的回报
• 两边的骨架相同，都是一对 actor-critic 加采集、更新、再采集的外层循环；评论家的分工不同，PPO 的评论家估计价值、压低梯度方差，SuperMimic 的评论家估计视界之外的回报，用于自举。差别在梯度信息的密度，PPO 的梯度藏在动作被选中的概率里，SuperMimic 让回报对每个动作直接求导
• 后面四节沿图往下走：2-2 回放池与两条数据边，2-3 世界模型，2-4 想象与反传，2-5 评论家

2-2 核心架构：Training Loop

• 图 2 是论文训练循环的完整示意

• 图 2：SuperMimic 训练循环。第一步采集数据进回放池，第二步在 k 步窗口上拟合世界模型，第三步在冻结的模型上想象 H 步并反传策略梯度，评论家在同一步训练，用于自举视界之外的回报
• 图里有两类箭头值得注意
  • 虚线是梯度流，它只经过世界模型与策略，不回到仿真器
  • 标注"冻结"的模块在策略反向时不接收梯度，标注"训练"的模块正常更新
• 三个模块的职责分工如下
  • 仿真器负责产生真实的状态转移，是唯一的数据来源
  • 世界模型负责把这些转移压缩成一个可微的预测器
  • 策略与评论家负责在模型里改进，改完再回到仿真器采集

2-2-1 真实环境交互与数据采集

2-2-1-1 确定性策略

• 确定性策略： SuperMimic 使用确定性策略（Deterministic Policy），Actor 根据当前观测 $o_t$ 和目标接口 $g_t$，直接输出归一化的关节设定点： $$a_t={\pi }_{\theta }(o_t,g_t)$$

• Actor 本身不从动作概率分布中采样，而是直接输出确定的动作。
• 这里之所以采用确定性策略，是因为策略梯度不再靠采样估计：0-2 已经说明，PPO 的随机策略是似然比梯度存在的前提；动力学可微之后，回报对动作的导数由链式法则直接算出，动作分布就没有存在的必要了。
  • 想象展开因此可复现：同一起点、同一组参数展开出同一条轨迹，模型误差不会掺进采样随机性。
  • 部署时输出的就是策略本身，不需要再从分布里取均值。

说人话：引入可微世界模型后，Actor 输出的动作可以通过模型影响未来状态，模仿误差产生的梯度也能沿着模型反向传播回 Actor。因此，Actor 不再需要输出动作概率分布，直接给出确定的关节控制指令，就能通过梯度优化策略。

2-2-1-2 动作加噪

• 在数据采集阶段，为了增加探索，会在策略输出上额外叠加高斯噪声，得到仿真器实际执行的动作：$$a_t^{\mathrm{exec}}={\pi }_{\theta }(o_t,g_t)+{ϵ}_t,{ϵ}_t\sim \mathcal{N}(0,0.1^2)$$其中：
  • ${ϵ}_t$：逐维独立的高斯动作噪声，标准差为 0.1。
  • $a_t^{\mathrm{exec}}$：仿真器实际执行的动作，也是回放池中存储的动作。

• 动作噪声的作用： 确定性策略在相同输入下始终输出相同动作，额外添加噪声可以让机器人探索策略输出附近的动作空间，扩大采集数据的状态与动作分布，为世界模型提供更丰富的动力学训练样本。该噪声仅用于训练阶段的数据采集，部署时直接使用确定性策略输出。

2-2-1-3 执行动作存储

• 执行动作存储： 世界模型拟合的是动作引起的状态转移关系，因此回放池必须记录实际执行的 $a_t^{\mathrm{exec}}$，而不是未加噪声的策略输出 $a_t$。否则，记录的动作与仿真器实际执行的动作不一致，会导致模型学习到错误的状态转移映射。

说人话：执行加噪声，记录也加噪声！

2-2-1-4 并行仿真规模

• 并行仿真规模： 每张 GPU 同时运行 4096 个独立仿真环境，控制频率为 50 Hz，即每个环境每秒执行 50 次控制更新。
• 回合重置点采样： 重置点并非在参考动作时间轴上均匀采样，而是采用回报加权的混合采样策略：
  • 将参考动作时间轴划分为 1 s 的片段，并为每个片段维护折扣回报估计。
  • 50% 均匀采样： 保证参考动作时间轴的基本覆盖。
  • 40% 低回报优先采样： 根据回报的 Softmax 反比权重进行采样，回报越低的片段被选中的概率越高，让策略重点练习尚未掌握的动作。
  • 10% 历史权重采样： 保留对历史上具有较高训练价值片段的采样机会，避免已经学会的困难动作被完全忽略。

说人话：训练时不会把所有动作片段一视同仁，而是优先抽取当前策略表现较差的片段，让机器人反复练习还没掌握的动作；同时保留一部分历史上训练价值较高的片段，避免训练采样过度集中在当前的薄弱环节。

2-2-2 Replay Buffer：经验回放机制

• SuperMimic 使用固定容量的回放池，每个并行环境最多保存 1000 步交互数据，新数据写入时覆盖最旧的数据。
  • 这一设计延续了 Dyna 的基本思想：世界模型学习与策略改进共享同一份真实交互经验。
  • 关于 Dyna ：【模型式强化学习】（一）：Dyna——从核心架构到 Dyna-Q 与 Dyna-AHC

• 一个自然的问题是：旧策略采集的数据，对当前策略还有用吗？
• 对于世界模型训练来说，有用。
  • 机器人动力学不依赖于采集数据时使用的策略。在给定状态、动作和域随机化参数后，状态转移由对应的动力学决定。
  • 因此，即使策略已经更新，旧数据中的状态转移仍然是有效的动力学训练样本。
  • 这也是 SuperMimic 能够复用历史交互数据训练世界模型的重要前提。
• 对于策略优化来说，回放池只提供初始状态及对应的域随机化参数，并不复用历史轨迹中的动作。
  • 策略优化阶段从这些初始状态重新展开想象轨迹，每一步的动作都由当前策略重新生成。
  • 因此，想象轨迹中的动作始终来自当前策略，不存在直接复用旧策略动作所带来的过期问题。
• 回放池因此承担两个角色：
  • 作为世界模型的训练数据集，提供历史状态转移样本。
  • 作为策略优化的初始状态库，为当前策略生成新的想象轨迹提供起点。

说人话：回放池里的旧数据并不会因为策略更新就失去价值。对于世界模型来说，旧数据仍然可以用来学习机器人怎么运动；对于策略优化来说，旧数据只负责提供一个起点，后续动作全部由当前策略重新生成。也就是说，旧经验可以继续用来学习动力学，也可以作为新策略练习的起点，但不会直接照搬旧策略的动作。

2-2-3 世界模型训练阶段

• 世界模型从回放池中采样训练数据，采用长度为 $k=8$ 的连续时间窗口进行训练。
  • 每个窗口以真实记录的初始状态作为输入，随后将模型上一步的预测状态作为下一步输入，连续展开预测。这种训练方式称为自回归拟合（Autoregressive Training）。
  • 每次更新采样 10 批数据，每批包含 2048 个时间窗口。
• 通过上述过程，世界模型逐步学习机器人在不同状态和动作下的动力学变化规律，为后续策略优化提供可微的状态转移模型。
• 需要注意，世界模型训练窗口长度 $k=8$ 与策略想象视界 $H=32$ 并不相同，二者的作用及设计原因将在 2-3-6 中展开。

2-2-4 策略优化阶段

• 世界模型训练完成后，进入策略优化阶段。此时从回放池中采样 4096 个初始状态，并同时读取对应的域随机化参数。
  • 随后冻结世界模型参数，以采样的初始状态为起点，在模型内部展开 $H=32$ 步想象轨迹。每一步由当前策略根据预测观测生成动作，再通过世界模型预测下一时刻的状态，逐步形成完整的想象轨迹。
  • 轨迹展开完成后，根据预测奖励和 Critic 的价值估计构造策略优化目标，并通过反向传播更新 Actor 和 Critic。其中，梯度可以穿过冻结的世界模型传递至 Actor，但不会更新世界模型自身参数。
• 这一阶段不需要与仿真器进行交互，策略可以直接利用世界模型生成的想象轨迹完成优化。
• 本节只交代这一阶段的输入、输出与在循环中的位置，具体机制在 2-4 展开
  • 想象轨迹怎么展开：2-4-3
  • Actor 如何从目标与观测出动作：2-4-4
  • 梯度如何沿时间回到 Actor：2-4-5
  • 奖励、终止与目标函数：2-4-6、2-4-7

2-2-5 两阶段训练流程与参数更新关系

• SuperMimic 将训练过程分为世界模型拟合与策略优化两个阶段，两者在每次迭代中分别更新一次，但优化目标和梯度来源相互独立。
  • 世界模型： 从回放池采样历史交互窗口，通过监督损失拟合状态转移规律，更新世界模型参数 $\omega$。
  • 策略： 从回放池采样初始状态，在冻结的世界模型中展开想象轨迹，根据预测奖励和价值估计构造优化目标，更新 Actor 与 Critic。

• 两个阶段虽然使用同一个世界模型，但策略优化时不会更新世界模型参数。
  • 论文通过 stop-gradient 操作阻断策略优化目标向世界模型参数 $\omega$ 的梯度传播。
  • 需要注意，阻断参数梯度不代表阻断计算图：世界模型参数保持固定，但梯度仍然可以穿过世界模型的状态转移计算，传回 Actor。
  • 这样可以避免策略优化过程中同时改变动力学模型，使策略始终在当前固定的模型上计算梯度。
• 两个阶段的更新节奏由更新与数据比例（Update-to-Data Ratio）控制。
  • 该比例设为 0.4，约束策略更新的频率。
  • 论文同时规定每次世界模型更新只做一次策略更新，两者的次数一一对应。
• 优化超参数：
  • 学习率：单卡训练为$2\times 10^{-4}$，双卡训练为 $4\times 10^{-4}$。
  • 学习率调度：采用余弦退火，最低降至初始学习率的 0.03 倍。
  • 退火周期：前 25 万次迭代完成退火，之后保持恒定。
  • 总训练迭代次数：32 万次。

2-3 Differentiable World Model：可微世界模型

• 训练循环里的三个模块中，世界模型是唯一一个既被训练、又被当作环境使用的模块，它的精度直接决定想象轨迹能走多远。

2-3-1 可微性的必要性

• 策略优化最终要把回报对动作的导数算出来，这要求"动作之后的世界"可导。
  • 物理仿真器不满足这个要求：关节约束靠迭代求解，接触的法向力与切向力由互补条件决定，连续碰撞检测还会在相邻时间步之间切换分支。这些环节要么不可导，要么导数在接触切换处不连续。
• 想在仿真上拿到解析梯度，只有两条路：
  • 一条是改造仿真器本身，让接触求解变得可微，SHAC 走的是这条；
  • 另一条是学一个代理模型，仿真器只提供数据、不提供梯度，SuperMimic 走的是这条。第二条路的好处是通用，换任何仿真器都不用改模型；代价是引入模型偏差，梯度的方向取决于模型有多准。
• 论文的处理方式不是把模型做到绝对准，而是控制它被使用到的范围
  • 只在 32 步的短视界上信任模型
  • 更远的回报交给评论家，评论家只需要给出价值估计，不要求动力学可微
• 两条合起来，模型误差从一个全局问题降成了一个局部问题

说人话：仿真器像一台不透明的机器，只能试、不能推；世界模型是照着它画的一张透明图纸，误差可以顺着图纸倒推回动作。代价是图纸本身有误差，所以只在图纸最可信的那一小段里用它

2-3-2 世界模型的输入与输出

• 世界模型由一个动力学网络与三个预测头组成，写成$$\begin{array}{rl}{\hat{s}}_{t+1}& =f_{\omega }\left({\hat{s}}_t,a_t,\xi \right)\\ {\hat{r}}_{t+1}& =r_{\omega }\left({\hat{s}}_t,a_t,g_t\right)\\ {\hat{o}}_t& =g_{\omega }\left({\hat{s}}_t,\xi \right)\\ {\hat{d}}_t& =d_{\omega }\left({\hat{s}}_t,g_t\right)\end{array}$$其中：
  • ${\hat{s}}_t$：模型预测的状态，第一帧取回放池里的记录状态
  • $a_t$：动作，采集时是带噪执行的动作，想象时是策略输出
  • $\xi$：本回合的域随机化参数，也就是论文所说的仿真上下文
  • $g_t$：目标，动作跟踪接口下是从参考动作读出的未来帧
  • ${\hat{s}}_{t+1}$：下一状态的预测
  • ${\hat{r}}_{t+1}$、${\hat{o}}_t$、${\hat{d}}_t$：奖励、无噪声观测、终止概率
• 四个输出各有分工：
  • 下一状态供下一步递推，决定想象轨迹怎么往前走；
  • 奖励与终止概率供回报计算，决定这条轨迹值多少；
  • 无噪声观测供策略在想象里使用，决定策略每一步看到什么。它不能被状态替代：策略在仿真中只接收本体感知观测，若想象时直接喂完整状态，训练与部署的输入接口便不一致，策略会依赖部署阶段无法获取的信息。

说人话： 动力学头负责预测机器人下一步变成什么样，观测头负责把这个状态转换成机器人策略实际能看到的信息。策略不是直接读取世界模型的全部内部状态，而是通过观测接口获取输入。

• 四个头不必都是学出来的。论文的表述是每个头要么由网络学习，要么由解析式计算；
  • 在动作跟踪这个实例里，奖励沿用 BeyondMimic 的解析式，观测可以由状态解析重建，终止是阈值判断。
  • 解析头不产生损失项，所以损失里真正参与优化的项会随实例变化。
• 记号上有一处容易混淆：观测头写作 $g_{\omega }$，目标写作 $g_t$，两者共用字母 $g$。前者是函数名，后者是变量名，按括号里的参数区分即可。

2-3-3 网络结构与状态转移预测

• 把 2-3-2 的四个公式合起来画成一张图，数据怎么流动就清楚了：三路输入汇入共享主干，主干再分出四个头，目标只喂给其中两个。

• 图里有两处值得注意：目标不进共享主干，它只决定离任务要求有多远，因此只接奖励与终止两个头；观测头接的是主干，因为它预测的是传感器读数，与目标无关。
• 动力学网络是一个三层多层感知机（MLP，Multilayer Perceptron），隐藏层宽度为 2048、2048、2048。输入是当前状态、动作与仿真上下文，输出是下一状态。
• 三个特点值得记下来
  • 输出的是完整状态，不是状态增量，网络要自己学会把动作映射成物理上的变化
  • 没有随机隐变量，也不做变分推断，这决定了模型是确定性的
  • 状态里同时包含机器人本体与终止相关的量，这是终止头能直接从状态判定的前提
• 与 PlaNet、Dreamer 的区别在问题设定，不在网络结构
  • 它们以观测为输入，同一时刻的观测不足以确定完整状态，问题属于部分可观的马尔可夫决策过程，所以要用 RSSM 把历史编进循环隐状态
  • SuperMimic 以完整状态为输入，给定状态、动作与仿真上下文，下一状态已被确定，是标准的马尔可夫决策过程，不需要 RNN、GRU 一类的时序编码；想象时以回放池记录的真实状态为起点，此后用自身预测递推
  • 部分可观只留在策略一侧：模型用状态做动力学，策略用观测出动作，历史由策略侧处理，见 2-3-7-1

说人话：Dreamer 这类模型只看得到传感器读数，像隔着毛玻璃看录像，必须记住前面几帧才猜得出机器人此刻的状态；SuperMimic 直接拿到完整状态，对模型来说当前这一刻就够，不需要回忆

• 随机性的去处也不同：Dreamer 用随机隐状态加 KL 正则表达不确定性；SuperMimic 的随机性来源是已知的，即域随机化参数与传感器噪声，拆出去之后模型可以是确定性的，全部容量用来拟合动力学

2-3-4 自回归拟合

• 2-2 已经说过窗口是自回归展开的，这里把这一步拆开。从回放池抽 $k=8$ 的连续转移，起点用记录的真实状态，此后每一步的输入都是模型上一步的输出 ${\hat{s}}_j$，动作取自回放池里记录的带噪执行动作。
• 自回归展开把训练分布与推理分布对齐：模型在第 $j$ 步处理的输入里，已经含有它在前面几步犯下的误差。窗口内的展开是一条计算图，损失对 $\omega$ 的梯度要穿过这 $k$ 步。
  • 代价是窗口不能太长。计算与显存随 $k$ 线性增长，回放池里能凑出的起点随 $k$ 减少；反过来，$k$ 太小则模型退化为单步预测，学不到误差修正。
  • 论文没有引入额外的稳定手段：世界模型不配指数滑动平均的目标网络，8 步展开的稳定性来自确定性结构与自回归拟合本身。

说人话：就是从回放池中抽取一段连续 8 步的数据，以第一步的真实状态作为起点，让世界模型自己连续预测 8 步，再将预测结果与仿真器记录的真实状态进行对比，计算损失。

2-3-5 世界模型损失函数

• 在 $k$ 步窗口上，损失是各项预测误差之和，写成$$L_{\mathrm{WM}}(\omega )={\mathbb{E}}_{\mathcal{B}}\left[\sum _{j=1}^k\left({\Vert {\hat{s}}_j-s_j\Vert }^2+{\left({\hat{r}}_j-r_j\right)}^2+{\Vert {\hat{o}}_j-{\bar{o}}_j\Vert }^2+\mathrm{BCE}\left({\hat{d}}_j,d_j\right)\right)\right]$$其中：
  • $\mathcal{B}$：回放池
  • $k$：窗口长度，取 8
  • ${\hat{s}}_j$、$s_j$：第 $j$ 步的预测状态与记录状态
  • ${\hat{r}}_j$、$r_j$：预测奖励与仿真器奖励
  • ${\hat{o}}_j$、${\bar{o}}_j$：预测的无噪声观测与对应的真值
  • ${\hat{d}}_j$、$d_j$：预测终止概率与仿真器的 0/1 终止标签
  • $\mathrm{BCE}$：二元交叉熵（Binary Cross-Entropy）
• 四项的权重都是 1，没有额外的加权系数。这与很多世界模型的做法不同，那些方法通常要给不同预测目标配权重。
  • 这里能把权重省掉，一个自然的解释是各项目标已经归一化到相近尺度：状态项与观测项是均方误差，奖励项是标量均方误差，终止项是分类交叉熵。论文没有单独说明这一点。
• 前面提过，解析头不产生损失项，所以实际训练时这四项未必都出现。

2-3-6 训练 8 步、想象 32 步

• 两个数字对应两件不同的事
  • 训练时世界模型用 $k=8$：从回放池采样连续 8 步的转移，模型在这条窗口上学习状态转移规律，并检验自己连续展开的短期预测能力
  • 优化策略时用 $H=32$：从初始状态出发，策略与冻结的世界模型交互，在模型内部连续展开 32 步想象轨迹，用于计算回报并更新策略
• 在 50 Hz 下，0.16 s 与 0.64 s 相差四倍。论文的解释是：评论家只需要模型在这 32 步内准，而 8 步自回归拟合已经足以让模型在更长的展开上保持稳定。
  • 这条解释成立的原因在 2-3-4：训练时模型见惯了自己的误差，部署到 32 步面对的是同一类偏差，只是时间更长。
  • 论文也报告了模型在更长的展开上仍然稳定，但策略实际只用到 32 步，更远的回报交给评论家自举，见 2-5-3。

说人话：8 步用于训练世界模型，32 步用于训练策略

2-3-7 传感器噪声与域随机化上下文

2-3-7-1 观测由无噪声部分与已知噪声组成

• 观测被拆成两部分，写成$$o_t={\bar{o}}_t+{\eta }_t$$其中：
  • ${\bar{o}}_t$：无噪声观测，也就是世界模型预测的那个量
  • ${\eta }_t$：已知分布的传感器噪声，在模型外面采样
• 观测由五部分拼成，写成$$o_t=\left[\begin{array}{c}{q}_t-q^0\\ {\dot{q}}_t\\ {\omega }_t^{\mathrm{imu}}\\ g_t\\ a_{t-1}\end{array}\right]\in {\mathbb{R}}^{93},{\eta }_t=\left[\begin{array}{c}{\eta }^q\\ {\eta }^{\dot{q}}\\ {\eta }^{\omega }\\ {\eta }^g\\ 0\end{array}\right]$$其中：
  • $q_t-q^0$：关节位置相对默认姿态的偏差，29 维，噪声 ${\eta }^q\sim \mathcal{U}(-0.01,0.01)$ rad
  • ${\dot{q}}_t$：关节速度，29 维，噪声 ${\eta }^{\dot{q}}\sim \mathcal{U}(-0.5,0.5)$ rad/s
  • ${\omega }_t^{\mathrm{imu}}$：基座角速度，3 维，噪声 ${\eta }^{\omega }\sim \mathcal{U}(-0.2,0.2)$ rad/s
  • $g_t$：投影重力，3 维，噪声 ${\eta }^g\sim \mathcal{U}(-0.05,0.05)$
  • $a_{t-1}$：上一步动作，29 维，不加噪声
  • $q^0$：默认关节姿态，与动作的关节设定点共用同一个基准
  • $\mathcal{U}(a,b)$：区间 $[a,b]$ 上的均匀分布，各维独立采样
• 策略输入的是最近 10 帧观测，所以实际输入是 930 维。
• 噪声不进入模型内部，理由有两条：噪声是外生的，与动力学无关，学它只会浪费容量；放在模型外面，想象时可以自由重采样，也可以在需要时关掉。

2-3-7-2 域随机化参数是另一条输入

• 域随机化参数 $\xi$ 不进观测，而是直接喂给世界模型。它包含三项，覆盖了实机与仿真的主要差异
  • 地面摩擦系数，均匀分布在 0.3 到 1.2
  • 关节标定偏移，每个关节均匀分布在 ±0.01 rad
  • 躯干质心偏移，三个方向分别有各自的均匀分布范围
• $\xi$ 之所以必须进模型，原因很直接：同一个状态、同一个动作，在摩擦 0.3 和摩擦 1.2 的地面上，下一状态完全不同。模型如果看不到 $\xi$，只能学到所有参数下的平均值，而这个平均值在任何一个具体参数下都是错的。

2-3-7-3 去掉根速度扰动

• 论文还去掉了 BeyondMimic 里的根速度扰动。根速度扰动的本质是给状态加一个跳变，而确定性模型无法预测跳变，这类噪声会污染训练目标。
• 只保留物理参数的随机化，就已经足够迁移到实机。

2-4 Learning the Policy through the World Model：通过世界模型优化策略

2-4-1 Actor-Critic 的整体输入输出

• 这一节要优化的不是一个网络，而是一对：Actor 出动作，Critic 估视界之外的回报。两者在同一条想象轨迹上训练，输入却不同。
  • Actor 的输入是目标与观测：目标经接口专属编码器得到 32 维隐向量，再与最近 10 帧观测一起送入共享解码器，输出动作。
  • Critic 的输入是状态、目标与仿真上下文，输出一个标量。它拿到的是完整状态，不是策略看到的带噪观测，这是两者在信息上的差别。
• 世界模型在这对网络之间充当环境：接收 Actor 的动作，返回奖励、终止概率、下一状态与预测观测，想象轨迹因此可以一直往前走。

• 图里还标了两条反向的边：策略梯度从回报出发、穿过世界模型回到 Actor；价值回归只更新 Critic，奖励与状态在这里当作数据使用。
• 后面的小节按这张图往下走：先看为什么不能只用似然比（2-4-2），再看想象轨迹怎么展开（2-4-3）、Actor 与 Critic 各自的结构（2-4-4、2-5-2），然后是梯度如何沿时间回到 Actor（2-4-5）、奖励与终止怎么进回报（2-4-6），最后是目标函数与更新（2-4-7）。

2-4-2 传统策略梯度的局限

• 0-2 列出的三项代价里，方差是这类任务最先撞上的一项，它又被两个因素放大
  • 动作维数是 29，维数越高，达到同样的估计精度需要的样本越多
  • 视界是几十步，回报要沿整条轨迹摊到各步，轨迹越长方差越大
• 结果是一条轨迹只给出一组标量优势，想要更准的梯度只能再采一条，代价最终体现为仿真步数。
• 我们真正想要的是"每个动作对回报的边际贡献"。它在动力学可微时只是链式法则的开销，在动力学不可微时只能用采样去估，世界模型解决的正是这一点。

说人话：PPO 是在黑箱外面猜"哪个动作好"，得反复试；世界模型把黑箱换成了透明盒子，可以直接看"这个动作往哪推了回报"

2-4-3 在世界模型中展开想象轨迹

• 想象轨迹的起点从回放池里取，分布记为 ${\rho }_0$。这个设计沿用 Dyna，作用是让想象覆盖策略实际会遇到的初始状态；起点还带着它记录的域随机化参数，保证这条轨迹的物理参数是自洽的。
• 从起点开始，展开过程重复五步
  1. 用当前状态预测无噪声观测
  2. 加上重新采样的传感器噪声，得到策略看到的观测
  3. 策略给出动作
  4. 世界模型给出下一状态、奖励与终止概率
  5. 重复 $H$ 次
• 想象时也要加观测噪声。世界模型只预测无噪声观测，噪声在模型外面加，这样策略在训练时看到的观测分布与部署时一致，不会因为训练太干净而在实机上失配。
• 一次更新并行 4096 条这样的轨迹，每条 32 步。
• 与 Dyna 不同的是，这里不需要把想象数据写回回放池：想象数据只用于一次策略梯度，写回去反而会让模型在自己产生的数据上自我强化。

2-4-4 Actor 的结构与动作接口

2-4-4-1 动作接口

• 策略是确定性的，这一点 2-2-1 已经说明，这里看它的内部结构。目标接口的编码方式在附录里给出，写成$$\begin{array}{rl}z& ={\mathrm{enc}}_{\theta ,i}\left(g\right)\in \mathcal{Z}\\ a& ={\mathrm{dec}}_{\theta }\left(z,o\right)\end{array}$$其中：
  • ${\mathrm{enc}}_{\theta ,i}$：第 $i$ 个接口专属的目标编码器
  • $\mathcal{Z}$：32 维隐空间，用 tanh 约束在单位区间
  • ${\mathrm{dec}}_{\theta }$：所有接口共享的解码器
  • $o$：最近 10 帧观测
• 公式里的下标 $i$ 是接口编号。哪些部分按接口分开、哪些部分共享，画在一起更清楚。

• 编码器按接口分开、解码器共享，是这套结构的关键。它用同一套结构承载 1-2 里的三类目标，而不是三套独立策略；一句话概括是目标接口解耦、运动控制策略共享。

阶段	输入目标	目标编码器	动作解码器
Mimic	未来 10 帧参考动作	接口专属	共享
Latent	隐空间中的目标条件	接口专属	共享
Downstream	下游指令，如速度	接口专属	共享

• 这样设计的原因：三个阶段的目标含义与数据形式不同，编码器必须分开；但最终都是"根据目标与观测生成关节动作"，所以解码器可以共用。
  • 论文实例化的是运动跟踪与速度两个接口，末端位姿、SMPL 身体姿态等形式由同一结构承载；具体输入形式以附录为准。
  • 动作跟踪接口的目标编码器输入是未来 10 帧参考动作。相比 BeyondMimic 的单帧目标，这里给的是 10 帧序列，编码器能从中读出速度与相位。

说人话：不同接口说不同的语言，各配一个翻译；但最后都要让机器人做出关节动作，所以共用一个解码器。

2-4-4-2 Actor 网络结构

• 各网络的规模在附录里写得很清楚：动作跟踪接口的目标编码器是 2048、1024、512、256 的四层 MLP，共享解码器也是 2048、1024、512、256；速度接口的编码器轻得多，只有 256、256 两层，评论家是 256、128 两层。
• 动作不直接是力矩，而是关节设定点，写成$$q^{\mathrm{sp}}=\alpha a_t+q^0$$其中：
  • $\alpha$：动作缩放系数
  • $q^0$：默认关节姿态
  • $q^{\mathrm{sp}}$：送给底层 PD（Proportional-Derivative，比例-微分）控制器的目标位置
• 底层 PD 增益取得很低，关节控制更柔顺，位置误差产生的反馈力矩也更小；策略输出的仍是有界的位置设定点，不是力矩。这是 BeyondMimic 的做法，好处是策略输出有界，实机执行更安全。

2-4-5 梯度如何回到 Actor

• 2-2-1 的结论是策略取确定性形式，理由写的是"梯度不再靠采样估计"。这里把理由补全，它也是 SuperMimic 区别于 PPO 类方法的根本：回报可以沿着可微世界模型直接对策略参数求导，动作分布、熵项、重要性采样比因此都没有存在的必要。
• 一条想象轨迹从初始状态到回报，全程是一张静态计算图，三个环节各自可微
  • 世界模型 $f_{\omega }$ 是 MLP，对状态与动作都可导
  • 策略解码器 ${\mathrm{dec}}_{\theta }$ 是 MLP，对参数可导
  • 奖励是状态的解析函数，可导；终止由模型的终止头输出概率，同样是可导输出，硬阈值只用于仿真器的回合判定
• 唯一的外生随机量是观测噪声 ${\eta }_t$，它在图里是一个采样节点，反向传播时只看作常数。

说人话：由于世界模型可微，策略生成的动作可以经过世界模型连续预测 32 步，最终回报的梯度再通过 BPTT 沿着整条想象轨迹反向传回 Actor，从而直接指导策略调整动作，而不需要像 PPO 一样通过采样估计策略梯度。

• 反向传播沿时间展开（BPTT，Backpropagation Through Time），状态对参数的导数逐级递推，写成$$\frac{\partial {\hat{s}}_{t+1}}{\partial \theta }=\frac{\partial f_{\omega }}{\partial a_t}\frac{\partial a_t}{\partial \theta }+\frac{\partial f_{\omega }}{\partial {\hat{s}}_t}\frac{\partial {\hat{s}}_t}{\partial \theta }$$其中：
  • $\partial f_{\omega }/\partial a_t$：世界模型对动作的雅可比
  • $\partial f_{\omega }/\partial {\hat{s}}_t$：世界模型对状态的雅可比
  • $\partial a_t/\partial \theta$：策略网络对参数的导数
• 这个递推与训练循环神经网络（RNN，Recurrent Neural Network）的形式完全一致。区别在于状态是物理量而不是隐向量，雅可比有明确的物理含义：动作改变多少，状态跟着改变多少。
• 视界 32 步意味着梯度要乘 32 次级联的雅可比。论文用两级梯度裁剪控制数值稳定性：先把全局范数裁剪到 1.0，再做逐元素裁剪到 0.1。
• 这条路径解释了两件事
  • 策略为什么可以是确定性的：梯度不经过动作的概率，只经过动作的数值，采样与似然比都没有用武之地
  • 目标函数为什么没有熵项与重要性采样比（2-4-7）：不是省略，而是梯度根本不走那条路
• 计算成本是一次前向加一次反向，与视界线性相关。相比之下，PPO 要得到同等质量的梯度需要多得多的仿真步，具体量级见 2-7-3。
• 与 PPO-WM 的差别也在这里。它同样在世界模型里展开轨迹，但只用展开结果采样动作、估计优势，梯度仍然走似然比，模型的可微性没有被用上；2-7-3 的想象步数差距由此而来。
• 回到 2-2-1 的那句话：Actor 可以不输出分布，是因为每一条想象轨迹都带着一条从回报连续回到参数的梯度。这条路径存在，确定性策略才成立；路径不存在，就只能退回 PPO 的似然比。

2-4-6 奖励、终止与软存活权重

2-4-6-1 奖励沿用解析式

• 奖励在动作跟踪接口下沿用 BeyondMimic 的解析式，去掉自碰撞惩罚，关节限位惩罚从 −10 降到 −2。奖励按类别分两组

类别	项	权重
任务项	身体位置	1.0
任务项	身体朝向	1.0
任务项	身体线速度	1.0
任务项	身体角速度	1.0
任务项	根位置	0.5
任务项	根朝向	0.5
正则项	动作平滑	−0.1
正则项	关节限位	−2

• 任务项都是指数形式的跟踪误差，误差越小越接近 1；正则项是直接惩罚，用来压住动作抖动与关节越界。每一项还要乘控制周期 0.02 s，最后的回报量纲才是时间。
  • 去掉自碰撞惩罚的理由值得单独说。这个惩罚原本是为了防奖励刷分：参考动作让两个部位靠近但不接触时，随机策略可能故意把它们压在一起，压住动作噪声从而提高速度跟踪的奖励。
  • SuperMimic 在想象中是确定性的，没有动作噪声可压，这个漏洞不存在，去掉之后模型不会被一个与跟踪质量无关的项干扰。

2-4-6-2 终止从硬判定变成概率

• 终止在仿真器里是硬判定，在模型里要变成概率。根高度偏差超过 0.25 m，或者倾角误差超过 0.8，就判定终止；倾角误差是参考根坐标系与机器人根坐标系里重力方向 $z$ 分量的绝对差，直立参考下 0.8 大约对应 78 度。
• 模型输出的是终止概率，不是 0 或 1，这样才能参与反向传播。
• 概率以软存活权重的形式进入回报，写成$${\hat{c}}_0=1,{\hat{c}}_{t+1}={\hat{c}}_t\left(1-{\hat{d}}_{t+1}\right)$$其中：
  • ${\hat{c}}_t$：走到第 $t$ 步仍然存活的概率
  • ${\hat{d}}_{t+1}$：世界模型对下一步终止概率的预测
• 回报里每一项都乘上它，摔倒之后的奖励自然被压掉。这个设计的意义在于可微：硬终止会让轨迹在某一步断掉，梯度也跟着断。

说人话：硬终止相当于"这一集到此为止，后面的账不算了"；软存活权重相当于"活着的概率越来越小，后面的奖励按概率打折"，折扣是连续可导的

2-4-7 策略目标函数与更新

• 策略优化的目标是想象轨迹上的折扣回报，视界之外用评论家接上，写成$$\hat{J}(\theta )={\mathbb{E}}_{s_0\sim {\rho }_0,{\pi }_{\theta }}\left[\sum _{t=0}^{H-1}{\gamma }^t{\hat{c}}_t{\hat{r}}_{t+1}+{\gamma }^H{\hat{c}}_H{V}_{\psi }\left({\hat{s}}_H,g_H,\xi \right)\right]$$其中：
  • ${\rho }_0$：回放池给出的初始状态分布
  • $H$：想象视界，取 32
  • $\gamma$：折扣因子，取 0.99
  • ${\hat{c}}_t$：软存活权重
  • $V_{\psi }$：评论家给出的视界末端价值
  • $\psi$：评论家参数
• 目标里没有熵项，也没有重要性采样比。原因在 2-4-5：梯度不经过动作概率，这两项没有对应的作用。
• 策略参数用 Adam 优化，学习率与世界模型相同。
• 每次更新只做一次梯度步，不做多轮小批量。这与 PPO 的多轮裁剪更新不同，原因是想象数据可以无限重新生成，不需要靠重复利用同一批数据来省样本。

说人话：在 32 步的想象轨迹内，Actor 每一步生成的动作都会经过世界模型，最终得到整条轨迹的预测回报。由于这条计算链可微，我们可以通过 BPTT 将回报梯度直接传回 Actor，指导策略更新。不过，32 步之外的长期收益无法全部展开，因此仍然需要 Critic 估计视界末端的价值，补上后续回报。

2-5 Critic 与长时域回报估计

2-5-1 视界之外的回报

• 想象视界 32 步，在 50 Hz 下是 0.64 s。动作跟踪的很多要求远超这个时间尺度：落脚时机、重心转移、相位对齐，往往要在 1 到 2 秒内完成；摔倒之后的恢复，时间尺度更长。
  • 只用 32 步的截断回报，策略会变得短视。它会把"这几步内奖励最高"的动作当成最优，哪怕这个动作在 0.7 s 之后必然摔倒。
  • 评论家的作用就是把视界之外的回报补上。这不是锦上添花：论文的消融里，没有评论家时 16 步及以下的视界都训不起来，具体数据放在 2-5-5。

2-5-2 评论家网络结构与价值估计

• 评论家是一个两层 MLP，宽度 256、128，输出一个标量。输入是状态、目标与仿真上下文。
  • 每个目标接口配一个独立的评论家。动作跟踪接口的价值函数与速度接口的价值函数不是一回事，共用会让两个任务的回报尺度互相干扰。
  • 输入里带 $\xi$ 与目标 $g$，是因为价值本身依赖这两者：同一个状态在不同摩擦系数下价值不同，同一个状态面对不同参考动作，剩余回报也不同。
• 把接口与评论家的对应关系画出来，三个接口各有一个评论家，输入共享，参数独立

• 三条支路结构相同，区别只在目标编码与训练接口；价值不跨接口共享，各接口的回报尺度因此不会互相污染。
• 评论家没有用目标网络，也没有用指数滑动平均。稳定性来自目标计算方式：想象轨迹的目标一次算完，拟合期间固定。

说人话：SuperMimic 用一个共享 Actor 处理不同任务。每个具体任务接口都有自己的目标编码器和 Critic，但动作解码器与世界模型是共享的。这样既能让不同任务使用各自的目标与价值评估，又能复用同一套运动控制能力。

2-5-3 有限想象视界与自举

• 回报在视界末端截断，用评论家的估值接上。折扣因子 0.99，视界 32，两者相乘的折扣因子是 $0.99^{32}$，约 0.72。
• 也就是说，第 32 步之后的价值在目标里仍占七成左右。这个比例说明自举项不是可有可无的补丁，它在目标里占了相当大的份额。
• 视界越短，自举项占比越高，评论家越重要；视界越长，自举项占比越低，但计算成本与模型误差都上升。论文在 2-7-3 会给出这条权衡的实测曲线。

2-5-4 Actor-Critic 联合优化

• 评论家的回归目标是广义优势估计（GAE，Generalized Advantage Estimation）式的递推，写成$${\hat{R}}_t={\hat{r}}_{t+1}+\gamma \left(1-{\hat{d}}_{t+1}\right)\left[\left(1-\lambda \right)V_{t+1}+\lambda {\hat{R}}_{t+1}\right],{\hat{R}}_H=V_H$$其中：
  • $\lambda$：平滑系数，取 0.95
  • $V_{t+1}=V_{\psi }\left({\hat{s}}_{t+1},g_{t+1},\xi \right)$
  • ${\hat{R}}_H$：视界末端的自举值，等于评论家对第 $H$ 步的估计
  • $\left(1-{\hat{d}}_{t+1}\right)$：下一步仍然存活的概率
• 存活概率出现在递推里，与回报的软存活权重是同一个量，摔倒之后的价值自然被截短。
• 损失是价值的均方误差，写成$$L_V(\psi )=\mathbb{E}\left[\sum _{t=0}^{H-1}{\left(V_t-{\hat{R}}_t\right)}^2\right]$$其中：
  • $V_t$：评论家对第 $t$ 步的估值
  • ${\hat{R}}_t$：上面递推得到的目标
• 目标在每条想象轨迹上只算一次，拟合期间固定不变；每次更新训练 5 轮，每轮 4 个打乱顺序的小批量。
• 这一点与 PPO 的评论家类似，但它只用想象数据，不碰仿真数据。

2-5-5 评论家对策略行为的影响

• 论文用两组实验说明评论家的作用。
• 第一组是视界扫描，横轴是想象视界，纵轴是最终训练回报，曲线分有评论家与无评论家两条
  • 无评论家时，8 步与 16 步都达不到目标回报 0.82
  • 有评论家时，16 步就能达到，与无评论家的 32 步相当
  • 32 步是达到目标最快的位置
  • 提到 64 步与 128 步，达标时间几乎变成三倍，最终回报还下降
  • 128 步已经是单张 H100 能放下的上限
• 第二组是推恢复实验
  • 在仿真里让机器人保持静止的 T 字姿态，施加 0.5 到 4 m/s 的速度推动
  • 有评论家的策略在 0.5 到 2.4 s 内稳定下来
  • 无评论家的策略始终不稳，0.5 m/s 就一直在踉跄，4 m/s 直接摔倒
• 这两组实验说明同一件事：评论家提供的是"视界之外怎么走"的排序信号，恢复动作的收益出现在想象窗口之外，没有评论家时策略看不见。这也是论文强调"评论家改变的不只是收敛速度，还有最终行为"的原因。

2-6 完整训练流程与梯度传播

• 把三个模块放回同一次迭代，剩下两个问题是顺序与梯度：谁先更新，梯度从哪条边流到哪个参数。

2-6-1 从真实环境到想象环境的数据流

• 一条数据在训练里会被用三次
  • 第一次是采集时写入回放池
  • 第二次是作为世界模型的窗口样本
  • 第三次是作为想象轨迹的初始状态
• 三次使用的角色不同，但都不需要重新与仿真器交互。这是整个方法省算力的直接来源：一次采集，多次复用。
• 数据流可以用一句话概括：真值进池，池喂模型，模型产生想象，想象训练策略，策略回到真值。

2-6-2 三个模块的更新顺序

• 每个迭代的顺序是固定的
  1. 用当前策略在仿真器采集，写入回放池
  2. 从回放池抽窗口，更新世界模型参数
  3. 从回放池抽初始状态，在冻结的模型上想象 32 步
  4. 用想象轨迹的回报更新策略参数
  5. 用同一条轨迹的广义优势估计目标更新评论家参数
• 顺序不能乱，原因有两条：模型必须在策略之前更新，否则策略梯度用的是上一个迭代的模型，而数据是新的；评论家必须在策略之后更新，因为它的目标由本轮策略产生的想象轨迹决定。
• 另外两个细节：世界模型参数在第三步之后冻结，直到下一个迭代；评论家与策略共享同一条想象轨迹，不额外采样。

2-6-3 完整计算图与梯度传播路径

• 把参数与损失的对应关系列成表更直观

参数	由哪个损失更新	是否穿过世界模型
世界模型 $\omega$	回放窗口的监督损失	是
策略 $\theta$	想象回报	是，且模型冻结
评论家 $\psi$	价值的均方误差	否

• 策略参数包含每个接口的目标编码器与共享解码器，两者都由对应接口的想象回报更新。
• 三处不接收梯度的地方要注意：仿真器提供的数据是常量，梯度不会回到仿真器；域随机化参数 $\xi$ 是常量，不参与优化；观测噪声 ${\eta }_t$ 是采样得到的常量，反向时视为常数。
• 计算图因此是一个有向无环图，反向传播对这张图是精确的；但它精确的是世界模型的梯度，模型与真实动力学之间仍有近似误差。

2-6-4 一次训练迭代的规模

• 把上面的顺序落到具体数字上，每一步的规模如下

项目	规模	备注
采集	4096 个环境；动作加标准差 0.1 的高斯噪声	写入容量 1000 步的回放池
拟合世界模型	10 批，每批 2048 个 8 步窗口	梯度全局范数裁剪到 1.0
展开想象	4096 个初始状态，每条 32 步	模型冻结，观测加传感器噪声
更新策略	一次反传	先全局范数裁剪到 1.0，再逐元素裁剪到 0.1
更新评论家	5 轮，每轮 4 个小批量	目标在拟合期间固定
学习率	余弦退火	25 万次迭代内降到初值的 0.03 倍，总迭代 32 万次

• 整个过程在单卡上完成，32 万次迭代对应论文的三小时量级。

2-6-5 与 PPO 的逐项对照

• 到这里，可以把 SuperMimic 与传统 PPO 的差别逐项列出来

维度	传统 PPO	SuperMimic
梯度来源	采样动作的对数概率加权优势	对想象回报直接求导
动力学	当作黑箱	学成可微网络
数据使用	一批数据做若干轮裁剪更新	一条想象轨迹一次反向
值函数	常规实现必需	必需，用于视界外自举
终止处理	硬终止，轨迹截断	软存活权重，可微
主要误差	梯度方差	模型偏差

• 第一行是最本质的差别。PPO 的梯度就是 0-1-2 的似然比估计：只需要采样到的动作与对应的优势，不需要知道动作之后环境怎么变。SuperMimic 不需要得分函数，因为它的动作是确定性的，回报对动作的导数可以由链式法则直接算出来。
• 差别不在公式形式，而在信息利用方式：PPO 用一条轨迹只能得到一组标量优势，梯度信息藏在"动作被选中的概率"里；BPTT 用同一条轨迹可以拿到每个动作对回报的边际贡献，梯度信息密度高得多。
• 表里后五行都是这条差别的推论，前面几节已经逐条对过：动力学在 2-3 节，数据使用在 2-2 与 2-4 节，值函数与终止处理在 2-5 节，架构层面的并排在 2-1-4。

2-7 对比

• 论文的对比分三个层次
  • 系统级：与 SONIC、PPO-Sim 比训练效率与最终性能
  • 组件级：世界模型的速度与精度，评论家与视界的作用
  • 硬件级：真实 Unitree G1 上的迁移

2-7-1 训练效率：SuperMimic vs SONIC

• 主结果是图 3

• 图 3：SuperMimic 用远少的 GPU 小时超过 SONIC 的跟踪回报。（a）单卡与双卡曲线在同一个 129,514 段动作基准上评测，虚线是 SONIC 已发布权重；（b）数据集长度扫描下，达到目标回报所需的 GPU 小时增长缓慢；（c）同一扫描下，世界模型的 8 步预测误差稳定在 0.007 到 0.011

2-7-1-1 主结果

• 三条曲线同口径评测，基准是 129,514 段动作，共 264 小时，具体数字如下

项目	SONIC	SuperMimic
硬件	128 张 L40	1 张 H100
墙钟时间	7 天	3 小时
GPU 小时	约 21,000	3
训练动作时长	611 小时	264.56 小时
基准失败动作	179	25（3 小时）；0（9.8 小时，2 卡）

• 折算下来，墙钟时间少 50 倍以上，GPU 小时少 1000 倍以上。
• 这两个比值是保守估计：3 小时之后，每一个检查点都在回报与失败动作两项上稳定领先 SONIC 至少半个差距；而 3 小时是完整训练循环的时间，检查点评测的时间没有算进去。

2-7-1-2 公平性

• 论文主动讨论了公平性，因为两个实验的配置并不相同：数据量差 2.3 倍，264.56 小时对 611 小时；GPU 峰值算力也不同，H100 的 fp32 峰值是 L40 的 0.74 倍，张量核是 5.5 倍。
• 2.3 倍数据与最多 5.5 倍峰值算力，解释不了 1000 倍的差距。

2-7-1-3 动作库变大会不会变慢

• 图 3 的（b）（c）两个子图回答的正是这个问题
  • 数据集从 1 小时扩到 264 小时，达到目标回报的 GPU 小时增长缓慢
  • 同一扫描下，8 步预测误差几乎不动
• 两个趋势指向同一个解释：一个世界模型在摊销所有动作共享的刚体与接触动力学。

2-7-1-4 受控对比：PPO-Sim

• 为了做受控对比，论文还训了一个 PPO-Sim 基线，结果在图 4（a）。两者用同一套动作、观测、奖励、终止、域随机化与网络规模，PPO-Sim 用 BeyondMimic 的 PPO 超参，每卡 8192 个并行环境，是 SuperMimic 的两倍。
• 结果差距明显：SuperMimic 单卡 1.2 小时达到评测回报 0.82；PPO-Sim 在 18 小时预算内没达到，单卡 0.60，四卡 0.70，八卡 0.72。
• 从四卡到八卡几乎没有收益，说明瓶颈不在并行规模。

• 图 4：受控对比。（a）SuperMimic 单卡反传想象回报，PPO-Sim 在仿真器里训练，分别用 1、4、8 张 GPU；（b）（c）不同想象视界下的最终回报与达标耗时，曲线分有评论家与无评论家两条
• 图 4 的（b）（c）是评论家与视界的消融，2-5-5 已经展开，这里只补一句：达标耗时随视界先降后升，32 步是拐点，这与"模型误差随视界累积"和"自举项占比随视界下降"两个趋势的叠加一致。

2-7-2 动作跟踪性能

2-7-2-1 评测集与过滤

• 评测集是 BONES-SEED 的 G1 重定向版本，经两轮过滤后剩 129,514 段，共 264.56 小时。
• 过滤分两步
  • 名字过滤：剔除名称里含楼梯、梯子、箱子、椅子、坐下、攀爬、跳下 50 cm、翻越围栏这类与地形或物体交互的词，去掉 12,553 段
  • 可行性过滤：用正向运动学跑一遍，按最低身体连杆的高度标记三类问题，支撑面过高、穿地、双脚悬空，再去掉 153 段
• 失败判定沿用训练时的终止条件，根高度偏差或倾角超阈值就算失败。

2-7-2-2 分组失败率

• 按动作分组统计的失败数如下

动作组（段数）	SONIC	SuperMimic 1 卡 3 小时	SuperMimic 2 卡 9.8 小时
侧滚（22）	22	2	0
空翻 360、180、90 度（44）	44	1	0
钻火圈式转身（20）	3	3	0
交叉腿（10）	9	0	0
躺卧与起身（99）	28	8	0
立定跳远（24）	15	0	0
舞蹈（8）	8	0	0
其余动作（129,287）	50	11	0
合计（129,514）	179	25	0

• 表里有两点值得注意：SONIC 在侧滚、空翻、舞蹈这些组上是整组失败，SuperMimic 没有在任何一组上比 SONIC 差；SuperMimic 的失败集中在前五个小组，195 段动作里占了 14 个失败。
• 训练 9.8 小时后，两张卡的模型在这个基准上零失败。

2-7-2-3 这张表的边界

• 有一点必须说清楚：这个基准的动作同时也是两种方法的训练动作。所以这些数字衡量的是"对训练动作的覆盖程度"，不是对新动作的泛化能力。
• 真机迁移另看 2-7-4。

2-7-3 消融实验：世界模型和策略优化的作用

• 这里的消融回答两个问题：想象快多少，一阶梯度省多少。

• 图 5：想象展开又快又可微。（a）在 H100 上，实际使用的批大小区间内，世界模型比 MuJoCo Warp 快 10 倍以上，64k 并行环境时差距拉到 62 倍；（b）在 LAFAN1（Ubisoft La Forge Animation，育碧动画数据集）的走、跑、冲刺动作上，SuperMimic 用约 64 分之一的想象步数达到 PPO-WM 的最好训练回报

2-7-3-1 展开速度

• 图 5（a）是速度。实际训练用的批大小在 2k 到 16k 并行环境之间，这一段世界模型快 10 倍以上；64k 时快 62 倍，因为 MuJoCo Warp 在这个规模上已经不再增长。
• 一步指一个 50 Hz 控制步，MuJoCo Warp 要算四个 5 ms 子步。世界模型用的是训练时的 TF32（TensorFloat-32，张量浮点 32 位）精度。

2-7-3-2 想象步数

• 图 5（b）是机制。对照组是 PPO-WM，也就是在同一个世界模型上跑 PPO；PPO-WM 试了四种批大小，16k 乘 32 是最好的。
• SuperMimic 用约 64 分之一的想象步数就达到对方的最好回报。这个对比把"快"和"梯度好"分开了：如果收益只来自展开速度快，单位想象步数的效率应该相近。

2-7-3-3 两个收益的关系

• 两组消融合起来说明：世界模型解决的是"采样太慢"，一阶梯度解决的是"样本不够用"。
• 两者是乘法关系，不是替代关系。

2-7-4 Sim-to-Real：真实 G1 机器人部署

• 论文用同一个策略，不做逐动作微调，部署到真实 Unitree G1。

• 图 6：通过学到的世界模型训练出的单个动作跟踪器，迁移到真实 Unitree G1。（a）单脚跳，（b）侧滚，（c）90 度空翻，（d）原地 360 度空翻
• 四个动作覆盖三类难度
  • 移动类：单脚跳，考验落脚与平衡
  • 接触丰富类：侧滚，躯干与四肢都要着地
  • 特技类：90 度空翻与原地 360 度空翻，考验空中姿态与落地冲击
• 迁移能成立，域随机化起了主要作用：摩擦系数、关节标定偏移、躯干质心偏移三项覆盖了实机与仿真的主要差异；观测噪声在仿真里就加在策略输入上，策略训练时已经接触过类似的观测扰动；动作映射到低增益 PD 设定点，实机执行不会因为指令过冲而失稳。
• 论文对真机实验的篇幅很少，只报告了四个动作成功执行。
• 从方法角度看，这个结果的意义是：世界模型学到的是动力学本身，不是某条动作的拟合曲线，所以跨到实机时不需要重新训练。

2-7-5 下游接口：RL 训练与蒸馏基线

• 论文最后做了一个初步研究：同一个世界模型能不能直接训练下游接口。
• 做法是训两个速度编码器
  • 一个是 RL 版本：用速度跟踪奖励，通过世界模型直接优化
  • 一个是蒸馏版本：用动作跟踪奖励训练，指令从参考动作里读
• 评测是 672 个阶跃响应，覆盖速度空间里三个平面上的 15 乘 15 网格。

• 图 7：RL 训练的速度编码器比蒸馏基线跟踪更准。每个面板是命令空间的一个平面，每个圆环对应一条命令，外圈面积正比于两个策略中较大的稳态误差，内圈面积正比于较小的那个，颜色标出更好的策略
• 结果很明确
  • RL 编码器在 672 个阶跃响应里有 650 个误差更低，蒸馏版本只有 15 个
  • 两者的相对稳态误差中位数分别是 0.16 与 0.49
  • 蒸馏版本在七个命令上全部四次试验都摔倒，都是平移叠加 2.8 rad/s 以上转向，而动作库里几乎没有这类数据
• 原因不难理解：蒸馏只能模仿参考动作里出现过的指令，覆盖不到的地方没有监督信号；RL 直接优化任务奖励，即使参考数据稀疏，也能通过想象探索出可行解。
• 这一节的结论超出了"加速训练"的范围：世界模型不只是训练加速器，它还是一个可以承载新任务目标的学习环境。

---

总结

• 本文从大规模动作跟踪的算力瓶颈出发，拆解了 SuperMimic 的三段训练循环、可微世界模型、BPTT 策略优化与评论家自举，并对齐了论文的训练效率、跟踪性能、消融与真机结果。
• 把全文的结论收拢起来，可以归成四条主线
  • 算力能降下来，前提是动力学只学一次：一个世界模型服务整个动作库，动作库越大，这份共享动力学被摊销得越彻底
  • 短窗口能支撑长想象，靠的是自回归拟合：模型在训练时就见惯了自己的误差，部署到 32 步只是同一种偏差多走几步
  • 想象能反传，靠的是把随机性拆干净：模型确定性、噪声外置、终止改成软存活权重，三件事合起来才是一张静态且可导的计算图
  • 短视界不短视，靠的是评论家：它把视界之外的回报补上，改变的不只是收敛速度，还有最终行为
• 两组消融还给出一条方法论上的结论：快速展开解决采样太慢，一阶梯度解决样本不够用，两者是乘法关系，缺一个都拿不到千倍量级的节省。
• 最后，下游接口实验说明世界模型不只是训练加速器，它还是一个可以承载新任务目标的学习环境。
• 如有错误，欢迎指出！
• 感谢观看！