论文：https://arxiv.org/pdf/2610.28480

abstract

Tracking large human-motion datasets has become the dominant route, thought it is expensive.
Current pipelines use model-free reinforcement learning.
We use one differentiable world model to replace a standard rigid-body simulator, and world model give the policy gradients to train the policy learning network.

Model-Free RL（无模型强化学习）本身在训练时通常极度依赖标准的刚体物理仿真器（Standard Rigid Body Simulator）。

• Standard Rigid Body Simulator（标准刚体物理仿真器，例如 MuJoCo、Isaac Gym、PyBullet）, 它是基于规则的白盒环境（Rule-based / White-box）。 干什么的： 它里面写满了牛顿力学公式、微积分和几何碰撞算法。你给它一个关节扭矩，它就根据重力、惯性、摩擦力，算出一个微小时间步后机器人身体会怎么动。它的物理规则是固定死的、人类写好的，不会自己去“学习”。
• Model-Free Reinforcement Learning（无模型强化学习，例如传统的 PPO、SAC 算法）

• 性质： 它是学习算法（Learning Algorithm）。 干什么的： 它是一套优化策略（Policy）的数学方法。之所以叫“Model-Free（无模型）”，是因为这个算法不需要在脑子里学习一个环境的动态模型（它不去猜“我做这个动作后世界会变成怎样”）。 它的工作方式： 纯粹靠“盲目试错”。它直接建立一个从状态到动作的映射（$\text{State}\to \text{Action}$），在环境中不断撞墙、跌倒、爬起，根据拿到的奖励（Reward）来调整自己的神经网络权重。

World Model

机器人确实可以在World Model神经网络里面“运动”——但这是一种虚拟的、想象中的运动（Mental Simulation / Imagined Rollouts），而不是在现实世界或传统物理引擎里动。

一、 SuperMimic 的神经网络究竟输出什么？

这个网络（即世界模型）的输入是：

• 当前状态 ($s_t$)：比如机器人当前各个关节的角度、速度、身体的倾斜姿态。
• 当前动作 ($a_t$)：比如控制策略刚刚发出的关节扭矩或位置指令。

它的输出主要有两个核心部分：

1. 下一个时刻的状态 (${\hat{s}}_{t+1}$)：预测机器人执行这个动作后，下一个瞬间它的身体会变成什么样（关节转到了多少度、身体移动到了哪个坐标、姿态是否平衡）。
2. 生存权重 / 终止概率 (${\hat{d}}_t$)：预测这个动作会不会导致机器人直接摔倒或发生不可挽回的错误。

二、 这个输出和机器人动作有什么关系？

传统的方法中，策略（Policy）就像一个盲人摸象的演员：它做一个动作，然后必须放到真实物理环境（或 MuJoCo 里）去撞一下、摔一下，才知道这个动作好不好。

而在 SuperMimic 中，动作与网络的关系变成了“因果推演”：

• 控制策略负责出主意：“我接下来想抬左腿、向前迈步（动作 $a_t$）。”
• 世界模型（神经网络）负责当预言家：“根据你的身体现状和这个动作，我脑海中推演了一下，你抬腿后身体会向右倾斜 5 度，左脚关节会承受 200 牛顿的力（状态 ${\hat{s}}_{t+1}$）。”

三、 难道机器人真的可以在网络里运动吗？（什么是“想象滚动”）

这正是整个技术的精妙之处。当我们在讨论“机器人在网络里运动”时，发生的过程是这样的：

1. 脑海中的“沙盘推演”：
   机器人（或者说控制算法）在计算机的内存里，利用这个神经网络进行连续多步的“幻觉式演练”（例如一口气连续预测未来 32 步）。

• 步 1：策略输出动作 $A_1\to$ 世界模型预测状态 $S_1$
• 步 2：策略输出动作 $A_2\to$ 世界模型预测状态 $S_2$
• ……
• 步 32：策略输出动作 $A_{32}\to$ 世界模型预测状态 $S_{32}$

2. 虚拟的轨迹运动：
   在这个过程中，一连串的数字（代表机器人的关节和坐标）在神经网络里不断更新演化。从宏观上看，这就好比机器人在自己的“大脑心智模型”里快速把这套动作完整地“演练”了一遍。
3. 梯度回传与优化：
   因为这个神经网络是完全可微分的，算法可以审视这 32 步的虚拟运动轨迹：“哎呀，走到第 15 步时身体快摔倒了，惩罚项太高！”
   然后，通过微积分的链式法则（反向传播），算法会直接告诉控制策略：“把第 5 步到第 10 步的动作改一改！”

Policy Learning

只单独训练一个 SuperMimic 世界模型是无法让机器人动起来的。

这就好比你学会了“脑补”物理规律（世界模型），但如果你脑子里没有任何“想做的事情”（比如走路、跳舞的目标），或者你根本不知道怎么指挥自己的肌肉（控制策略），那你依然无法完成任何动作。

• 世界模型（World Model）：负责当物理学教授。它只管预测：“下一个状态是什么？会不会摔倒？”它不知道要去哪里，只知道规则。
• 控制策略（Policy）：负责当运动员。它的任务是：“为了完成参考动作（比如模仿人类跑步），我当前应该输出多少力矩？”

整个训练过程通常是一个互相促进的交替迭代循环：

• 第一步：数据收集（Rollout）

• 初始的策略可能很笨拙（甚至只会乱动或者直接摔倒）。

• 策略带着这些笨拙的动作，在仿真环境里跑一跑，收集一堆“动作 $\to$ 状态变化”的轨迹数据（存入 Replay Buffer）。

• 第二步：训练世界模型（Train World Model）

• 用收集到的这堆数据去训练神经网络，让世界模型越来越准，能够精准还原机器人的物理惯性、摩擦和关节反应。

• 第三步：在世界模型中优化策略（Train Policy via Imagination）

• 核心加速点来了： 此时，控制策略不再去慢吞吞地拿真实物理引擎试错，而是直接连上已经训练好的“可微分世界模型”。

• 策略在虚拟的“脑海”里疯狂演练几百万次，利用可微分的梯度迅速变聪明，学会如何完美地模仿目标动作、保持平衡。

• 第四步：回到物理世界验证并循环

• 变聪明后的策略重新回到仿真/真实世界中执行，收集更高质量、更复杂的新动作数据，再次反哺世界模型。

（正文结束）