文献： SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control
作者： Zhengyi Luo, Ye Yuan, Tingwu Wang, Chenran Li, Fernando Castañeda, Sirui Chen, Zi-Ang Cao, Jiefeng Li, et al.（共 28 位作者）
期刊： Science Robotics，11(117)，eaed4592（2026）；缩写 Sci. Robot. 2026
项目主页： https://nvlabs.github.io/GEAR-SONIC/
核心关键词： Humanoid Whole-Body Control；Motion Tracking；PPO；Finite Scalar Quantization（FSQ）；Multi-Encoder；Generative Motion Planning；VLA；Sim-to-Real。

---

1. 研究定位与主要结论

1.1 研究问题

人形机器人已经能够分别完成步行、跑跳、手臂操作、遥操作和模仿动作，但通用控制器仍受到三个关键问题的限制：

1. 训练目标难以随技能种类扩展。 速度跟踪、跳跃、舞蹈、起身、跪姿等任务各自需要不同奖励设计，任务越多，奖励工程越复杂；基于对抗判别器的动作先验学习在大规模、多模态运动分布上还可能出现训练信号退化与模式坍塌。
2. 参考运动与真实动力学之间存在落差。 动捕轨迹未必可由特定机器人的质量分布、关节限位与接触条件实现；仅使用运动学重定向无法保证动态可执行性。
3. 上层任务接口碎片化。 人体视频、VR 跟踪、底盘速度、整机目标动作及 VLA 输出的结构差异较大，为每种输入单独训练低层控制器会重复投入，且难以实现手脚联合的全身操作。

SONIC 的路线并非“让一个端到端 VLA 直接预测全部电机力矩”，而是先学习一个通用的可执行运动控制先验，再把语义任务、VR 遥操作与生成式规划统一映射到可供该控制器执行的动作表征。

1.2 主要结论

• 运动跟踪能够形成具有规模效应的基础训练任务。 高密度逐帧运动参考比纯任务稀疏奖励更容易扩展到大量类别。论文的规模实验分别考察数据量、网络参数量和训练计算量；三条轴的性能趋势均改善。
• 同一个控制策略可以处理异构运动指令。 机器人关节动作、SMPL 人体动作及稀疏头手跟踪信号分别经过对应编码器，量化到同一 64 维统一运动 token，再经共享控制解码器输出关节角目标。
• 运动规划负责“生成要做什么动作”，控制器负责“在动力学中把动作稳定做出来”。 生成式运动规划器在短窗口内合成全身参考轨迹，跟踪策略借助本体反馈闭环执行。
• 统一 token 是上层 VLA 与真实运动控制之间的接口。 GR00T N1.5 预测 64 维运动 token 和 14 维手部关节量，从而实现导航、抓取、踩踏脚踏板及搬运组合任务。

图 1. SONIC 通用控制框架的应用全景。 来源：Luo et al., Science Robotics（2026），原文 Figure 1；展示多模态交互、自然运动、户外作业和全身操作的实机实例。

1.3 与典型方法的本质区别

表 1. SONIC 与其他人形控制范式的机制对比（概念性比较，非论文中的基准评分）

路线	主要学习目标	下层动作输出	技能扩展方式	典型约束
速度跟踪 PPO	匹配指定速度、保持稳定	期望关节位置等	更换任务指令及奖励	行为种类受训练奖励限制
AMP／ASE 类运动先验	对抗分布匹配与任务奖励	关节动作	扩展专家运动分布	判别器难度随运动多样性增加
BeyondMimic 类跟踪	跟踪给定的参考全身运动	期望关节位置	扩大参考运动集合	需要处理新动作的泛化问题
SONIC	超大规模参考运动跟踪＋跨模态 token 对齐	29 维目标关节角	更多动捕数据＋统一上游接口	仍依赖可跟踪参考、物理边界及安全机制

---

2. 系统总体技术路线

2.1 四级体系结构

SONIC 可以分为四层，但这些层次并不都属于同一个端到端神经网络。

第一层：数据与运动目标。 人类动捕经过 GMR、PyRoki 重定向并进行物理可行性筛选；真实机器人参考、VR 上半身关键点以及视频／文本／音乐生成的人体运动也是可接入的目标来源。

第二层：统一运动表征。 三种编码器分别是机器人运动编码器 ${\mathcal{E}}_r$、人体运动编码器 ${\mathcal{E}}_h$、混合关键点编码器 ${\mathcal{E}}_m$。它们把不同来源的动作映射至共享潜变量，经 FSQ 构成统一 token $z$。

第三层：通用控制策略。 控制解码器 ${\mathcal{D}}_c$ 使用 token 和机器人当前／历史本体状态生成 29 维目标关节角，经底层关节 PD 执行；辅助运动解码器 ${\mathcal{D}}_r$ 重构机器人参考动作，并在训练中提供对齐监督。

第四层：应用生成器。 游戏手柄和导航指令经生成式运动学规划器转换为轨迹；PICO VR、视频和 GEM 人体动作生成模型提供其他模态轨迹；VLA 则可直接输出统一 token。

图 2. SONIC 多编码器—FSQ 量化—双解码器统一运动控制架构。 来源：Luo et al., Science Robotics（2026），原文 Figure 6。左侧为多种任务及运动生成器，中间为三种编码器与共享 token，右侧为参考动作重构及机器人控制两个解码分支。

2.2 与“单一端到端 VLA”的区别

控制策略 $\pi$ 只需要理解统一运动 token 与当前机器人状态，仍然依赖低层闭环反馈；VLA 学习任务图像／文本到动作 token 的映射。在 VLA 控制时，系统可用

$$I_t,\ell ,s_t\stackrel{\mathrm{VLA}}{\to }{z}_t,q_t^{\mathrm{hand}}\stackrel{{\mathcal{D}}_c(\cdot ,s_t^p)}{\to }{q}_t^{\mathrm{des}}\stackrel{\mathrm{PD}}{\to }{\tau }_t.$$

其中 $I_t$ 为视觉信息，$\ell$ 为语言任务，$z_t\in {\mathbb{R}}^{64}$ 为量化后的全身动作表征，$q_t^{\mathrm{hand}}\in {\mathbb{R}}^{14}$ 为手部关节目标，$q_t^{\mathrm{des}}\in {\mathbb{R}}^{29}$ 为 G1 主体关节目标。该表达是系统级关系式；具体 VLA 模型内部视觉主干结构并非 SONIC 主论文提出的创新。

---

3. 大规模动捕数据与预处理

3.1 数据规模及来源

动捕原始库约 700 小时，通过 GMR 与 PyRoki 向 Unitree G1 做运动重定向，剔除部分超出平台可执行能力的运动（论文举例包括楼梯和某些坐姿），最终获得 611 小时训练数据、约 1 亿以上帧（50 Hz）、317,189 段训练片段。论文将运动划分为 33 个主类别，涵盖普通与风格化移动、舞蹈、武术、工具使用、单手／双手操作和角色扮演等。

需要区分三个数字：700 小时代表重定向和筛选前的原始动捕量；611 小时是论文报告的最终训练集；288 小时是其后公开的 BONES-SEED 子集，并非完整 611 小时训练库。

表 2. SONIC 数据集划分（源自论文原文 Table 2，未自行重编号）

统计量	训练 Train	未见内容 Test-Content	新重复 Test-Repetition
片段数	317,189	7,016	9,395
时长	611 h	15 h	12 h
子类别数	8,447	182	1,088
与训练子类别重叠比例	—	0%	100%
与训练片段重叠比例	—	0%	0%

Test-Content 完全隔离训练期间未出现过的动作子类别，用于检验内容级泛化；Test-Repetition 包含已知动作类别的新演员／新重复，用于检验类内变化。额外采用来自不同重定向流程的外部数据集 PHUMA，包含 68,326 段运动，检验更强的分布偏移。

图 3. 大规模动捕数据集及重定向后 G1 动作样本。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S2；不同格子对应训练数据中不同动作序列的单帧。

3.2 运动重定向的作用及边界

重定向的目标是将人体骨架和关节动作转成机器人具有一致关节拓扑／末端结构的参考运动，而不是直接求解可执行的电机力矩。GMR 和 PyRoki 提供几何映射，PPO 在物理模拟器中学习实现参考姿态及平衡、接触协调。

在两阶段处理中，运动学上对齐不等于动力学上可实现。对极端低姿、持续异常接触、过高质心速度等运动，需要数据筛选、策略稳定性学习及后续失败分析共同约束。

---

4. 物理运动跟踪：MDP、观测、动作与奖励

4.1 强化学习问题

论文将任务定义为马尔可夫决策过程：

$$\mathcal{M}=⟨\mathcal{S},\mathcal{A},\mathcal{T},\mathcal{R},\gamma ⟩,{\pi }^{\ast }=\arg \underset{\pi }{\max }{\mathbb{E}}_{\pi }\left[\sum _{t=1}^T{\gamma }^{t-1}{r}_t\right].$$

训练算法为 PPO（Proximal Policy Optimization，近端策略优化）。SONIC 并非依靠纯行为克隆把人类关节角直接映射成电机位置，而是在 Isaac Lab 动力学环境中执行动作，利用运动跟踪奖励约束结果。为适应真机，策略被设计为只依赖可部署的本体感知与目标运动输入。

4.2 状态空间：本体观测与运动指令

当前本体量：

$${\tilde{s}}_t^p=[q_t,{\dot{q}}_t,{\omega }_t,g_t,a_{t-1}],s_t^p=\left({\tilde{s}}_{t-9}^p,\dots ,{\tilde{s}}_t^p\right).$$

$q_t$、${\dot{q}}_t$ 是关节位置与速度；${\omega }_t$ 是机身角速度；$g_t$ 是机身坐标系中的投影重力；$a_{t-1}$ 是前一策略动作。历史长度为 10 帧，用于缓解速度估计不充分及响应延迟，不能将它误读成“未来预测 10 帧”。

目标输入 $s_t^g$ 支持三种模式：

• 机器人模式 $g_r$：未来若干帧的关节状态及参考速度；
• 人体模式 $g_h$：SMPL 形式的人体三维关节点位置；
• 混合模式 $g_m$：本帧头部与双手等稀疏上身关键点，加上下肢机器人运动参考。

运动姿态使用连续的 6D Rotation Representation（六维旋转表示）。6D 姿态并非 $(x,y,z,\mathrm{roll},\mathrm{pitch},\mathrm{yaw})$，通常以旋转矩阵前两列参数化姿态，再通过正交化恢复完整旋转矩阵；平移量另行表示。

表 3. 运动指令窗口配置（源自原文 Table S1）

参数	机器人编码器 ${\mathcal{E}}_r$	人体编码器 ${\mathcal{E}}_h$	混合编码器 ${\mathcal{E}}_m$
未来参考帧数	10	10	10
相邻参考帧间隔	0.10 s	0.02 s	0.10 s
网络主体	MLP	MLP	MLP
隐藏层	[2048,1024,512,512]	同左	同左

注意：这是参考帧采样间隔，不是策略推理步长；论文策略部署周期为 20 ms（50 Hz）。

4.3 动作空间与 PD 执行

Actor 输出 29 维关节位置目标，不是 29 维关节力矩，也不是足端接触力。底层电机 PD 的常见表达为

$${\tau }_t=K_p(q_t^{\mathrm{des}}-q_t)+K_d({\dot{q}}_t^{\mathrm{des}}-{\dot{q}}_t).$$

式中 ${\tau }_t$ 为驱动转矩；这里给出 PD 基本形式以便理解，实际平台使用内置关节级 PD 接口并须遵循硬件控制协议。

4.4 奖励函数结构

论文主文将奖励写为

$$r_t=\mathcal{R}(s_t^p,s_t^g)+\mathcal{P}(s_t^p,a_t).$$

跟踪奖励覆盖根部姿态、各刚体相对根部的位置与姿态、刚体线／角速度和末端关键点位置；惩罚项限制动作突变、关节越限、非预期接触、头手震动与足部加速度。下表给出论文 Table S3 的原始权重，不是推测的复现参数。

表 4. SONIC 跟踪奖励与安全正则（源自原文 Table S3）

类型	术语	权重	功能
跟踪	root position	+0.5	根部位置一致性
跟踪	root orientation	+0.5	根部朝向一致性
跟踪	body link position (relative)	+1.0	相对根部的各刚体位置
跟踪	body link orientation (relative)	+1.0	相对根部的各刚体姿态
跟踪	body link linear velocity	+1.0	全身刚体线速度
跟踪	body link angular velocity	+1.0	全身刚体角速度
跟踪	end-effector position	+2.0	头、双腕、双踝等关键点
惩罚	action rate	−0.1	降低关节目标变化突兀程度
惩罚	joint limit	−10.0	抑制关节越限
惩罚	undesired contacts	−0.1	抑制非预期接触
惩罚	anti-shake	−0.005	抑制头和腕部高速抖动
惩罚	feet acceleration	−0.0000025	降低足部运动不平滑

一个典型的位置追踪奖励形式为

$$r_{\mathrm{body},\mathrm{pos}}(t)=\exp \left(-\frac{1}{|\mathcal{B}|}\sum _{b\in \mathcal{B}}\frac{\Vert p_{t,b}^{p,\mathrm{rel}}-p_{t,b}^{g,\mathrm{rel}}{\Vert }_2^2}{0.3^2}\right).$$

式中 $p$ 表示当前状态、$g$ 表示参考目标，$\mathcal{B}$ 为参与跟踪的刚体集合。终端位置奖励的误差尺度为 0.1 m，对关节末端定位要求比 0.3 m 的多数躯干位置奖励更严格。不要仅从奖励权重大小推断实际梯度强度，还需考虑项内归一化、误差尺度以及样本分布。

4.5 域随机化与抗扰动

论文在物理参数、外扰和目标运动三方面随机化。

表 5. 域随机化关键参数（摘自原文 Table S4）

扰动类别	变量	随机范围
接触动力学	静摩擦系数	$\mathcal{U}[0.3,1.6]$
接触动力学	动摩擦系数	$\mathcal{U}[0.3,1.2]$
接触动力学	恢复系数	$\mathcal{U}[0,0.5]$
质量模型	质心 $x$ 偏置	$\mathcal{U}[-0.075,0.075]$ m
质量模型	质心 $y,z$ 偏置	$\mathcal{U}[-0.1,0.1]$ m
外部冲击	根部线速度扰动 $x,y$	$\mathcal{U}[-0.5,0.5]$ m/s
外部冲击	根部线速度扰动 $z$	$\mathcal{U}[-0.2,0.2]$ m/s
外部冲击	推动持续时间	$\mathcal{U}[1,3]$ s
目标指令	目标关节扰动	$\mathcal{U}[-0.1,0.1]$ rad
目标指令	目标姿态 yaw 抖动	$\mathcal{U}[-0.2,0.2]$ rad

同时对默认关节姿态、目标位置、目标线／角速度、根部角速度等进行随机化。目标指令扰动非常关键：生成式规划器的输出不一定精确处于训练参考分布内，对目标加入噪声能迫使跟踪器学习纠偏，而不是依赖完美参考轨迹。

---

5. 通用运动 Token：三编码器、FSQ 与双解码器

5.1 为什么需要共享潜空间

机器人运动 $g_r$ 与人体运动 $g_h$ 的自由度、骨架语义和坐标定义不同。若分别训练两个独立控制策略，两种动作空间之间不能直接共享 VLA 数据；若直接让人类 SMPL 姿态当作机器人的关节目标，则存在严重的形态错配。

SONIC 使用如下表示：

$$z_r=Q_{\mathrm{FSQ}}({\mathcal{E}}_r(g_r)),z_h=Q_{\mathrm{FSQ}}({\mathcal{E}}_h(g_h)),z_m=Q_{\mathrm{FSQ}}({\mathcal{E}}_m(g_m)).$$

为同一段物理运动提供成对的异构指令时，三个 token 被对齐到相近的位置，因而后续控制器可以只训练一套 ${\mathcal{D}}_c$。

5.2 Finite Scalar Quantization（有限标量量化）

论文使用 FSQ 而不是具有可学习离散码本的 VQ-VAE。FSQ 的每一维独立量化到有限个数值水平，不用寻找最近的可训练嵌入向量，因此没有 VQ-VAE 码本长期只被少数条目占用的典型问题，也不需要额外的 codebook commitment loss 或 EMA 码本更新。

可用通用的分维量化形式解释其机制：

$$Q_{\mathrm{FSQ}}(u{)}_i=\mathrm{round}\left({\mathrm{scale}}_{L_i}(\mathrm{bound}(u_i))\right),i=1,\dots ,D_z.$$

这是一条FSQ 原理示意式，不是论文给出的具体程序实现；实际量化前的有界化、尺度映射、反量化和直通估计以开源代码为准。

SONIC 的默认配置为 2 个 token、每个 32 维、每维 32 个量化水平，通常写作 FSQ-32-32；拼接以后形成 64 维量化运动表示。因此：

• $64$ 指网络对外使用的 token 向量维度，不等于一个从 $0$ 到 $63$ 的单整数索引；
• $32$ levels 是单维量化水平数，不等于需要训练 32 个不同的动作专家；
• FSQ 仍利用 straight-through estimator（直通梯度估计）支持 PPO 对编码器的联合优化。

5.3 两类解码器的不同职责

$$a_t={\mathcal{D}}_c(z,s_t^p),{\hat{g}}_r={\mathcal{D}}_r(z).$$

控制解码器 ${\mathcal{D}}_c$ 既看 token 也看本体历史，输出实际关节控制目标；运动解码器 ${\mathcal{D}}_r$ 仅看 token，重构机器人参考运动，用于训练表征。后一支路并非又一个并行输出力矩的控制器，也不等于在线 IK 优化器。

5.4 联合训练损失（原文公式 1–4）

$$\mathcal{L}={\mathcal{L}}_{\mathrm{ppo}}+{\mathcal{L}}_{\mathrm{recon}}+{\mathcal{L}}_{\mathrm{token}}+{\mathcal{L}}_{\mathrm{cycle}}.\text{\hspace{1em}(1)}$$

$${\mathcal{L}}_{\mathrm{recon}}=\Vert {\mathcal{D}}_r(z_r)-g_r{\Vert }_2^2+\Vert {\mathcal{D}}_r(z_h)-g_r{\Vert }_2^2+\Vert {\mathcal{D}}_r(z_m)-g_r{\Vert }_2^2.\text{\hspace{1em}(2)}$$

$${\mathcal{L}}_{\mathrm{token}}=\Vert z_r-z_h{\Vert }_2^2+\Vert z_r-z_m{\Vert }_2^2+\Vert z_m-z_h{\Vert }_2^2.\text{\hspace{1em}(3)}$$

$${\mathcal{L}}_{\mathrm{cycle}}=\Vert {\mathcal{E}}_r({\mathcal{D}}_r(z_h))-z_r{\Vert }_2^2.\text{\hspace{1em}(4)}$$

解释如下：

• ${\mathcal{L}}_{\mathrm{ppo}}$：在真实动力学反馈中优化控制行为，使量化 token 与本体反馈最终产生稳定跟踪动作。
• ${\mathcal{L}}_{\mathrm{recon}}$：不同输入类型经相应 encoder 后，统一还原成机器人参考运动；其中人类 encoder 到机器人 decoder 的分支具有隐式人体—机器人重定向作用。
• ${\mathcal{L}}_{\mathrm{token}}$：相同源动作从三种表示得到的 token 保持一致，避免“相同动作、不同指令格式”造成潜空间割裂。
• ${\mathcal{L}}_{\mathrm{cycle}}$：人体 token 先解码回机器人参考，再经机器人编码器重编码，应与原机器人 token 一致，从而约束跨域映射闭环。

论文使用非对称 Actor–Critic：训练时 Critic 可看到根部线速度、刚体姿态和无噪声等特权仿真状态，Actor 仅用真机可获得的观测。PPO 对编码器、量化器及控制解码器传递优化信号；辅助对齐损失主要用于规整多编码器与动作重构表示。

5.5 训练架构与关键参数

表 6. SONIC PPO 与网络规模参数（源自原文 Table S1–S2）

参数	数值
G1 驱动关节数／Actor 输出维度	29
各类编码器 MLP	[2048,1024,512,512]
Actor 控制解码器 MLP	[4096,4096,2048,2048,1024,1024,512,512]
Critic MLP	[4096,4096,2048,2048,1024,1024,512,512]
单 GPU 并行环境数	4096
每环境 rollout 长度	24
PPO epochs／mini-batches	5／4
$\gamma$／GAE $\lambda$	0.99／0.95
PPO clip	0.2
熵系数	0.013
value loss 系数	1.0
Actor／Critic 学习率	$2\times 10^{-5}$／$10^{-3}$
最大梯度范数	0.1
desired KL	0.01
初始动作噪声标准差	0.05
动态采样 bin 长度	1 s
adaptive sampling：$\beta$／$\alpha$	200／0.1
最大全模型规模	42M 参数

以上系原论文主文／附录配置，并非建议在较小 GPU 数量下原样照搬；其中大批量训练与跨 GPU 数据同步会影响收敛特性。

5.6 自适应动作采样

对 611 小时的动作数据均匀采样，会让简单重复动作占据较多学习资源。作者采用按固定时长划分的 bin-based adaptive sampling（分箱自适应采样），依据有上限的失败率增加困难片段权重，同时混合一定比例的均匀采样，防止模型忽略长尾之外的运动模式。论文公开的配置是 1 s bin、失败率上限参数 $\beta =200$ 与混合参数 $\alpha =0.1$；具体概率构造应以训练代码为准，不能仅由三个超参数推导唯一算法公式。

---

6. 生成式运动学规划器：从交互意图到可跟踪动作

6.1 规划任务定义

SONIC 不是直接把 $(v_x,v_y,{\omega }_z)$ 送给一个速度跟踪策略执行所有行为。其上层 Generative Kinematic Motion Planner 根据当前上下文与目标关键帧，在运动潜空间合成自然的全身参考片段。每段生成时长 0.8–2.4 s，允许覆盖走、跑、跪、爬、拳击以及运动风格之间的衔接。

该模型训练于与跟踪控制器相同的大规模自然动作数据，任务可抽象为

$${\hat{M}}_{t:t+T}=\mathrm{Plan}(M_{t-h:t},K_{\mathrm{goal}},u_t),$$

其中 $M_{t-h:t}$ 是历史动作上下文，$K_{\mathrm{goal}}$ 是目标关键帧，$u_t$ 是交互指令。上式为理解性抽象，原论文的生成模型具体训练见下节。

6.2 潜变量编码与掩码预测（原文公式 5–7）

{zt}t=1T/4=enc⁡ ⁣({pt,rt}t=1T).(5) \{z_t\}_{t=1}^{T/4}=\operatorname{enc}\!\left(\{p_t,r_t\}_{t=1}^{T}\right).\tag{5} {zt​}t=1T/4​=enc({pt​,rt​}t=1T​).(5)

编码时序下采样率为 4；$p_t$ 是姿态配置、$r_t$ 是根部位置。起始与目标关键帧为生成的边界约束。基于 masked token prediction（掩码 token 预测）的网络迭代得到

h=F ⁣({pt,rt}t=14,{pt,rt}t=T−4T,{zt}t=1T/4),(6) h=\mathcal F\!\left(\{p_t,r_t\}_{t=1}^{4},\{p_t,r_t\}_{t=T-4}^{T},\{z_t\}_{t=1}^{T/4}\right),\tag{6} h=F({pt​,rt​}t=14​,{pt​,rt​}t=T−4T​,{zt​}t=1T/4​),(6)

$$P(z_t)=\mathrm{softmax}(h).\text{\hspace{1em}(7)}$$

训练时随机掩码比例在 0%–100% 间采样；推理时，模型逐轮保留高置信度 token。累积确定比例采用余弦进度

$$\eta (L)=1-\cos \left(\frac{\pi L}{2L_{\max }}\right).$$

该公式意味着初期更保守地选取确定 token，后期逐渐将剩余潜变量固定。这与连续高斯加噪去噪的传统 DDPM 扩散并非同一个训练目标；论文在此描述的是离散掩码 token 迭代生成。

6.3 临界阻尼根轨迹滤波

根部 $x$、$y$ 和航向的交互指令经 critically damped spring（临界阻尼弹簧）进行平滑。原文 Eq. (8) 给出指数衰减形式；从二阶临界阻尼系统

$$\ddot{x}+c\dot{x}+\frac{c^2}{4}(x-x_T)=0$$

推导，具有明确初值 $x(0)=x_0$、$\dot{x}(0)=v_0$ 的标准解为

$$x(t)=x_T+\left[(x_0-x_T)+\left(v_0+\frac{c}{2}(x_0-x_T)\right)t\right]e^{-ct/2}.$$

特别说明：以上是根据临界阻尼微分方程写出的工程实现形式，并非擅自声称与 arXiv 网页展示的 Eq. (8) 字符逐项相同；原文网页的 Eq. (8) 常量／符号排版值得复现者核对。作者为位置与航向使用 $5\ln 2$、$20\ln 2$ 两组阻尼系数，目的在于避免急转向、速度反号等突变参考。

6.4 在线更新机制

生成器在普通笔记本上推理小于 5 ms、在 Jetson Orin 上约 12 ms；规划可按 10 Hz 更新，并在指令变化时触发即时重规划。参考运动以约 30 fps 产生，部署时使用位置线性插值、四元数 SLERP 重采样到 50 Hz。新旧轨迹过渡时进行 8 帧（160 ms）交叉淡入淡出，降低参考跳变。

图 4. 由生成式运动规划器驱动的交互式全身控制。 来源：Luo et al., Science Robotics（2026），原文 Figure 3；包括方向和运动风格变化、跪姿／爬行／起身，以及连续拳击动作。

---

7. 多模态接口、VR 遥操作与 VLA

7.1 Video／Text／Music → GEM → Human Encoder

视频控制使用单目 RGB 或预录视频推断人体运动；文本／音乐控制借助 GEM 生成相应人体动作序列，再用人体编码器 ${\mathcal{E}}_h$ 接入统一控制器。论文报告视频估计和文本动作生成达到至少 60 fps。GEM 的生成方法含扩散式先验、滑动窗及 inpainting 衔接；这不意味着 SONIC 下层 PPO Actor 自身是扩散模型。

图 5. 视频、文本、音乐和 VR 多模态实时控制演示。 来源：Luo et al., Science Robotics（2026），原文 Figure 4；A–D 分别对应视频遥操作、文本驱动、音乐驱动与 VR 全身遥操作。

7.2 全身 VR 与 3-point VR 的区别

**全身 VR（Full-Body）**使用 PICO 头显、双手控制器和双踝追踪器，由人体 motion encoder 输入 SMPL 运动。作者报告实时原始流共 87 维：21 个关节三维位置为 63 维、根部姿态四元数 4 维、双腕旋转关节量 6 维、双手灵巧手关节量 14 维。

3-point VR只使用头显与双手控制器，不需要脚踝追踪器。输入包括头部和双腕三个 SE(3) 位姿、手部关节角、腰高、慢／快行走模式和根部速度及朝向；生成式规划器补充下身运动，混合编码器 ${\mathcal{E}}_m$ 联合编码上身目标与下身参考。

前者适合强调足部精确定位的任务，后者更适合低设备复杂度的移动抓放数据采集。注意 3-point 的三个点是头部和双腕，不是三个足端／末端执行器。

7.3 VLA 控制接口与维度

论文接入 GR00T N1.5。对全身动作类任务，VLA 输出为：

$$a_t^{\mathrm{VLA}}=[z_t^{\mathrm{motion}},q_t^{\mathrm{hand}}]\in {\mathbb{R}}^{64+14}={\mathbb{R}}^{78}.$$

上层 token 不是关节力矩，不应与低层 29 个 G1 主体驱动关节直接对应。和 VLA 直接输出 SMPL 显式姿态相比，学习经过物理控制训练塑形的紧凑离散运动表征，使输出更平滑、更容易被稳定跟踪。

苹果放盘任务使用 3-point VLA 接口，预测的是头手位姿等遥操作格式指令、经过规划器与混合编码器执行；其余复杂任务使用 78 维 whole-body token 接口。不能将全部六项任务都描述为直接预测 78 维动作。

图 6. VLA 驱动的全身移动操作任务。 来源：Luo et al., Science Robotics（2026），原文 Figure 5。A 为苹果放盘；B 为胡萝卜抓取；C 为清洁刷抓取；D 为踩踏脚踏板开垃圾桶；E 为取饮料罐、移动、踩踏开盖并投掷；F 为电钻装箱与双手搬箱。

7.4 五项 VLA 任务的真实实验数据

表 7. VLA 实机任务成功率（原文 Table 1A）

任务	控制接口	示教数量	测试次数	成功率
苹果抓取并放到盘中	3-point	300	20	90%
胡萝卜抓取	全身 token	3,900（13 类物体合计）	20	75%
清洁刷抓取	全身 token	同上，3,900	20	95%
踩踏打开垃圾桶	全身 token	200	10	70%
饮料罐放入垃圾桶	全身 token	1,000 多物体轨迹	10	60%
电钻与盒子搬运	全身 token	300	10	70%
论文给出的五任务均值	—	—	—	75%

作者所称“五项任务”将胡萝卜与清洁刷两类物体抓取合并计为一个任务；因此不能直接对六行百分比求算术均值并声称是原文五任务均值。该实验报告每项 10–20 次试验，属于实际硬件闭环结果，不应被误读成在大规模随机场景下的稳健泛化下界。

7.5 FSQ Token vs. 直接 SMPL 动作：消融实验

表 8. 全身 VLA 输出空间消融（原文 Table 1B）

任务	FSQ Token	直接 SMPL Pose	差值（百分点）
胡萝卜抓取	75%	60%	+15
踩踏打开垃圾桶	70%	20%	+50
饮料罐到垃圾桶	60%	0%	+60
原文汇总	68%	27%	+42（原文四舍五入）

对比中显式 SMPL Pose 方案为 81 维，FSQ 方案为 78 维；性能差距远大于单纯的维数减少所能直接解释的变化，更重要的是量化空间由物理跟踪任务塑造，包含有利于稳定全身运动的结构。这是论文观察及作者的解释，不代表已在控制变量完全隔离的条件下证明“量化是唯一因果原因”。

---

8. 扩展性、对比实验与真机泛化

8.1 三条 Scaling 轴

作者分别改变数据、模型和计算资源：

表 9. 规模实验配置与关键结论

变量	对比配置	评测观察
数据量	4M／10M／22M／100M 帧	提升未见动作内容的跟踪泛化
参数规模	1.2M／16M／42M	更大模型跟踪成功率更高、MPJPE-L 更低
计算资源	16／32／128 GPUs，约 2k／9k／21k GPU·h	大批量优化进一步改善表现

在 Test-Content 上，论文报告 42M 大模型取得 99.6% 成功率、23.8 mm MPJPE-L，而 1.2M 小模型为 98.0%／27.7 mm。同一个论文中的不同表或图可能对应不同 encoder、MuJoCo 评测设置、checkpoint 或数据子集，因此不得把 99.6%、99.3% 和 98.5% 这些数字混写成完全同一测试协议。

图 7. SONIC 规模规律、跟踪器对比、专项速度控制对比及 Sim-to-Real 评估。 来源：Luo et al., Science Robotics（2026），原文 Figure 2（A–L）；

8.2 与 BeyondMimic、Any2Track、GMT 的对比

在 MuJoCo 中采用论文统一的终止条件、但非完全数据匹配的对比条件下，SONIC 在三个测试集的跟踪成功率为 98.5%／99.2%／97.2%；BeyondMimic 为 82.0%／85.4%／73.8%；Any2Track 为 61.6%／69.4%／78.5%。论文强调，不同基线训练时采用不同的数据源及重定向管线，因此该对比更接近跨数据分布与可扩展性对比，不能直接推断只更换控制网络即可产生上述全部性能差异。

在所报告的跟踪精度评估中，SONIC MPJPE-L 为 23.7 mm，BeyondMimic 为 40.9 mm，相对减少约 42%。这里的 MPJPE-L 是机器人根坐标相对的各关键刚体位置平均误差，不等于世界坐标系绝对轨迹误差。

8.3 与专项速度控制 OpenHomie 的对比

MuJoCo 速度指令测试覆盖 0–5 m/s 范围，SONIC 完成 197/200（98.5%），OpenHomie 完成 86/200（43.0%）。论文称 OpenHomie 在约 2 m/s 之后稳定性显著下降，而 SONIC 到约 4 m/s 仍保持很高的存活率。该结论受到测试所用命令分布、控制器版本及训练规模影响；论文没有因此证明在任意真实地形下都能达到 5–6 m/s。

8.4 仿真至真机（Sim-to-Real）

在 124 条物理机器人运动序列中，仿真完成 124/124（100%），真机完成 123/124（99.2%）。MPJPE-L 为仿真 22.3 mm、真机 25.7 mm。真机的手臂／上半身落差相对较小，足部误差上升更明显（仿真 29.0 mm，真机 53.7 mm），说明地面接触建模仍是重要不确定性来源。

图 8. 124 条真机动作评测中的代表性序列。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S4；展示街舞、鞠躬、高跳、踢腿、低姿移动等成功样例。

8.5 OOD 失败案例与抗外扰

未见过的街舞动作、舞台鞠躬、持剑突刺、回旋踢等可成功跟踪；而极限贴地“僵尸爬行”和盘腿坐姿被原文列为跟踪失败案例。可见高成功率不是对全部人体动作的“任意姿态保证”，复杂持续地面接触和关节可达性依然是结构性难点。

图 9. OOD 动作的成功与失败案例。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S3；蓝色标记为成功，红色标记为失败。

论文还在物理机器人上演示约 11 kg 物体从高于头部的高度落下、碰撞执行策略的机器人；机器人吸收冲击后继续动作跟踪，演示不需要另外切换专门恢复策略。该实验是特定冲击场景验证，不能代替系统性外力鲁棒性包络测试。

图 10. 约 11 kg 物体落下时的抗扰动演示。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S5。

8.6 统一潜变量对齐消融

移除 ${\mathcal{L}}_{\mathrm{token}}$ 与 ${\mathcal{L}}_{\mathrm{cycle}}$ 后，多编码器之间潜变量差异约增大 8 倍。该证据解释了为何单纯设置相同 token 维度还不足以构成“统一空间”：必须用同源配对运动对齐不同 encoder 的编码结果。

图 11. 有／无一致性损失时多编码器潜变量的逐帧距离与跨帧距离矩阵。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S7。

8.7 专项控制器的规模收益饱和

补充材料中的 OpenHomie 专项控制器消融报告：训练扩展到 8 GPUs 时取得 0.18 m/s 速度跟踪误差和 95.0% 存活率；继续扩展至 32 GPUs 时为 0.29 m/s 和 91.2%。论文以此说明，较窄任务的奖励目标可能出现能力饱和；不过不同环境并行规模及训练策略也可能影响优化效率，不宜将单次结果概括为“所有专项控制都无法扩展”。

图 12. OpenHomie 速度跟踪误差和存活率随训练计算规模的变化。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S6。

---

9. 真机部署架构与 Sim-to-Real 工程关键

9.1 硬件、推理和控制频率

SONIC 在 Unitree G1（29 个主体执行关节）部署；Jetson Orin 上使用 TensorRT、CUDA Graph，控制策略前向推理耗时约 1–2 ms，动作规划器约 12 ms。控制程序采用多频率线程，减少传感器回调、上层输入及低层通信相互阻塞的风险。

表 10. 真机多线程执行频率（源自原文 Figure S1 和 S1.2）

线程	频率	主要职责
输入采样线程	100 Hz	键盘／手柄／VR／网络命令
动作规划线程	10 Hz	短时域运动参考生成
控制推理线程	50 Hz	观测拼接、FSQ／Actor 前向、目标关节角
低层指令发送线程	500 Hz	以最近目标发送关节 PD 指令
机器人状态回调	事件驱动	接收 IMU／关节状态

图 13. Jetson Orin 上的多频率全身控制系统与安全监控。 来源：Luo et al., Science Robotics（2026），补充材料原文 Figure S1；包括启动流程、并行线程与数据新鲜度、关节限速、电机温度及 CRC32 等检查项。

9.2 MotionSequence：统一动作输入容器

录制参考动作、生成式规划器输出和外部运动流共用 MotionSequence 接口，按帧保存关节位置、关节速度、根部位姿及可选 SMPL 数据。通过互斥保护的指针切换运动源、记录帧索引与编码器模式，控制循环无需随着输入来源改变而重新实现观察序列。

外部数据可经 ZMQ 或 ROS 2 输入；论文还提到 token-only streaming，用于将预先算好的统一潜变量 token 直接送入控制环节，绕过板载 encoder。

9.3 观测缓存、延迟与安全机制

系统以 ring buffer（环形缓冲区）存储最近的关节／IMU 历史，并按 YAML 配置统一构造观测；采用 latest-data-wins（最新数据优先） 模式避免慢线程积压。推理前后应保持传感器时间戳、关节映射顺序、单位和参考轨迹对齐一致。

启动时先在约 3 s 内插值到站立姿势，等操作员确认再运行策略。论文配置包含关节速度 watchdog、数据过期与电机错误检测、CRC32 校验。异常退出时执行纯阻尼模式，报告的典型配置为 $K_p=0$、$K_d=8\mathrm{N}\mathrm{m}s/rad$。此处是作者的平台实现细节，迁移到不同机器人前必须重新做安全验证。

---

10. 消融与评价协议的正确解读

10.1 成功率定义

运动模仿失败判据包括根部或末端高度偏离参考超过 0.25 m，强调物理意义上的跌倒或接触偏差。由于系统主要执行局部运动跟踪，不能将该成功率解读成任意全球位姿轨迹误差小于某数值。

10.2 指标

论文重点指标包括运动跟踪成功率、根部相对的平均关节位置误差（MPJPE-L）、线速度误差和加速度误差。采用局部框架能够减少整体平移／转向对身体姿态指标的污染，但不等于具备全局导航定位能力。

10.3 FSQ 与编码器的消融

表 11. 量化器和编码器消融结果（原文 Table 3，Test-Content）

配置	Success ↑	MPJPE-L ↓	说明
FSQ（128 GPUs）	99.3%	26.6 mm	与 VQ-VAE 对齐的比较组
VQ-VAE（128 GPUs）	98.7%	35.3 mm	FSQ 低 8.7 mm
FSQ-16-16（32 GPUs）	96.9%	35.7 mm	两个 16 维 token
FSQ-16-32（32 GPUs）	98.3%	29.7 mm	增加 token 维数
FSQ-32-16（32 GPUs）	98.3%	30.3 mm	增加量化水平数
FSQ-32-32（32 GPUs）	98.8%	27.5 mm	默认量化配置
Robot encoder（128 GPUs）	99.6%	23.8 mm	完整最优配置示例
Human encoder（128 GPUs）	99.6%	24.4 mm	较 Robot 仅高 0.6 mm
Hybrid encoder（128 GPUs）	99.2%	26.5 mm	稀疏关键点增加部分可观测性损失

该表不同子组的 GPU 数和训练配置不同，横向比对仅限同一实验子组。尤其不要将“128 GPUs 上 FSQ vs VQ-VAE”与“32 GPUs 上 FSQ 参数选择”直接视为唯一变量相同的联合消融。

---

11. 主要创新与学术贡献

创新一：重新定义具有可扩展训练信号的人形机器人基础任务。 通过多样化动捕帧的密集监督，避免依赖大量技能专属奖励，将通用行为学习变成可持续引入更多运动片段的数据规模问题。论文验证了数据、模型和计算的正向收益，而不是只提出“多训练一些数据”的概念。

创新二：三类异构指令共享 FSQ 动作空间。 以机器人、人体和混合运动三个 encoder 构造可互通的表示，利用参考重构、token 一致性和循环一致性约束跨域分布。这使实时人体重定向、稀疏遥操作、生成式参考以及上层 VLA 能共享相同低层控制网络。

创新三：将生成式运动学规划和真实动力学运动控制明确分层。 上层解决运动生成与风格／关键帧条件，底层解决动态跟踪与平衡；两者均以丰富的人类动作分布为学习基础，减少技能模块切换导致的不连续。

创新四：把全身运动先验转变为 VLA 可学习的动作接口。 通过 64 维 FSQ token 和 14 维手部动作，VLA 可以在同一个动作序列里表达手部抓取、躯干运动和足部踩踏，而不必把足部控制拆成独立的导航技能接口。

创新五：规模实验、消融、外部数据、真机和自主操作形成多层验证。 论文不仅给出模拟器跟踪表现，还报告 124 条真机序列、跨跟踪器对比、VR 控制与多阶段 VLA 任务，完整展示从运动数据到自主行为的接口闭环。

---

12. 局限性、风险与后续研究

动态边界并未被完全解决。 贴地爬行、盘腿坐等失败例子说明训练库虽大，仍不覆盖所有可实现的接触模式；机器人自身关节限位和自碰撞几何限制无法通过增加数据自动消除。

安全与能效仍缺乏形式化保证。 文中报告抗冲击、限速保护与紧急阻尼，但没有给出全任务空间稳定性证书、控制不变集或长期能耗最优性保证。输出位置目标并不自动保证全身接触力满足约束。

数据与计算资源成本较高。 611 小时、42M 参数、21k GPU·h 是关键能力的实验条件。公开 BONES-SEED 只覆盖原始训练分布的一部分，不能假定开源仓库附带所有论文训练数据，也不能认为用 8 块 GPU 运行一次就一定复现论文的最高指标。

VLA 实验样本较小。 各任务 10–20 次试验可证明闭环可行性，但还不足以代表复杂未知室内环境、长时间自主运行和复杂物理接触的高置信度成功率。

不应与全动力学 WBC 混为一谈。 仓库名字包含 WholeBodyControl，但这里论文中 PPO 控制器的主体输出为期望关节位置加底层 PD，并没有在每个 20 ms 控制周期显示求解一套经典接触力／加速度 QP-WBC。SONIC 属于学习式全身运动控制，而非“深度学习网络直接求出 WBC-QP 最优解”。

---

13. 对腿式机器人与四足机械臂研究的参考价值

SONIC 最有迁移价值的不是直接复用其 G1 关节输出维度，而是三种结构性原则：

1. 先训练跨技能的运动执行底座。 将传统单个速度跟踪任务扩展成参考轨迹跟踪任务，包含不同步态、全身姿态、接触行为，再通过持续补充运动库改善泛化。对于四足／轮足，需要独立确定适合本体的目标运动分布，而非直接将人体动作当作可行策略。
2. 将异构高层目标对齐为中间运动语言。 从速度指令、末端位姿、图像／VLA、高层动作片段分别生成同一个低层可执行 token，再由共享的全身控制器执行。这与“机械臂输出末端动作＋腿部速度策略”简单串接相比，更容易表达需要躯干、足端和机械臂相互补偿的任务。
3. 保留模型化安全与接触约束。 对四足机械臂的抓取、搬运和窄空间移动，可把统一 token 作为参考／先验，而由 IK、WBC、MPC、CBF 或关节级安全层负责必要的几何、力学和硬件约束；这是有价值的后续组合方案，并非 SONIC 论文已实施的完整算法模块。

在实际研究中，推荐先复现论文开源的 G1 Isaac Lab 评测 → MuJoCo sim2sim → 真机推理，厘清 encoder 输入、token 量化与电机接口，再选择更换机器人形态。不能假定 SONIC 训练好的 G1 模型可直接驱动 Go2 或轮足机械臂。

---

14. 参考文献

1. Luo, Z., Yuan, Y., Wang, T., et al. SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control. Science Robotics, 11(117), eaed4592 (2026). https://doi.org/10.1126/scirobotics.aed4592
2. SONIC arXiv v4（含 Supplementary Methods、Table S1–S4、Figure S1–S7）：https://arxiv.org/html/2511.07820v4
3. NVIDIA GR00T Whole-Body Control： https://github.com/NVlabs/GR00T-WholeBodyControl
4. SONIC 项目演示：https://nvlabs.github.io/GEAR-SONIC/
5. 官方文档与部署说明：https://nvlabs.github.io/GR00T-WholeBodyControl/
6. SONIC 权重与多个部署版本：https://huggingface.co/nvidia/GEAR-SONIC
7. BONES-SEED 动作数据：https://huggingface.co/datasets/bones-studio/seed
8. Schulman, J., et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347. https://arxiv.org/abs/1707.06347
9. Mentzer, F., et al. Finite Scalar Quantization: VQ-VAE Made Simple. ICLR 2024. https://arxiv.org/abs/2309.15505
10. NVIDIA Isaac Lab：https://github.com/isaac-sim/IsaacLab
11. Liao, Q., et al. BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion. arXiv:2508.08241. https://arxiv.org/abs/2508.08241