论文：SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control（NVIDIA GEAR，arXiv 2511.07820v4）

1. 核心观点

作者认为人形机器人控制一直没能做大，原因在于任务选错了，而不在于模型不够大。

• 任务专用的奖励（行走、起身、遥操作等）每换一个行为就要重新设计，没法扩展。
• AMP/ASE/CALM 这类对抗模仿方法，数据越多样，判别器给的信号越弱，容易模式坍塌。

SONIC 的回答是：把运动跟踪（motion tracking）当作基础任务。动捕数据每一帧都给出明确的目标姿态，监督信号密集、通用，而且数据越多样，信号不会变弱。在这个前提下，作者沿三个轴同时扩大规模：

轴	规模
模型	1.2M → 42M 参数
数据	约 700 h 动捕，重定向到 G1 后保留 611 h（1 亿+ 帧 @50Hz，31.7 万条片段，8447 个子类）
算力	128 GPU × 7 天 ≈ 2.1 万 GPU 小时

2. 方法结构

整体是三层：运动生成器 → 通用控制策略（tracker）→ 机器人。

如图所示：SONIC 通过一种通用的控制策略，实现了对各类人形动作的通用追踪；该策略能够处理多种多样的动作指令与模态。

2.1 跟踪问题的建模（标准 PPO 设定）

• 状态：本体感知 s^p^_t 取 10 步历史（关节位置/速度、根角速度、重力向量、上一步动作），加上运动指令 s^g^_t。所有量都在机器人局部坐标系下表示，旋转用 6D 表示。
• 动作：目标关节角，由 PD 控制器执行（G1 有 29 个自由度）。
• 奖励（表 S3）：根位置/朝向、身体各连杆相对位置/朝向/线速度/角速度的 exp 型跟踪项，末端执行器位置项权重为 2.0；惩罚项包括 action rate、关节限位、非期望接触、手腕/头部抖动、足部加速度。
• 非对称 actor-critic：critic 能看到特权信息（基座线速度、全身连杆位姿、无噪声观测）。
• 域随机化：摩擦、恢复系数、质心偏移、外力推、对目标指令加扰动。最后一项让 tracker 能容忍规划器生成的不完美参考轨迹。
• 自适应采样：按 1 秒为一个 bin，以截断后的失败率加权采样，难的片段多练，同时保持整体覆盖。

2.2 通用控制策略：多编码器 → FSQ token → 双解码器（核心创新）

• robot motion g_r ──E_r──┐
• human SMPL g_h ──E_h──┼─→ FSQ 量化 → 通用 token z ─┬→ D_c(z, s^p^) → 关节动作
• hybrid g_m ──E_m──┘ └→ D_r(z) → 重建 robot motion（辅助）
• 三个编码器（都是 MLP，各看 10 帧未来参考）：
  • {E}_r：机器人关节轨迹（帧间隔 0.1 s）。
  • {E}_h：人体 SMPL 关节位置（帧间隔 0.02 s）。
  • {E}_m：混合输入，上身只有头和双手的稀疏关键点，下身用规划器生成的机器人运动。
• 量化：用 FSQ，不用 VQ-VAE。2 个 token，每个 32 维，每维 32 个量化级别，合计 64 维。FSQ 不会出现码本坍塌，也不需要 commitment loss 或 EMA，在和 PPO 联合训练时更稳定。
• 控制解码器 {D}_c：输入 token 和本体状态，输出动作。网络较深：4096-4096-2048-2048-1024-1024-512-512。
• 运动解码器 {D}_r：只用 token 重建机器人运动。当输入是人体运动时，{E}_h --> {D}_r 这条路径就相当于隐式的人到机器人重定向，所以运行时不需要显式重定向。

损失函数：

各项的梯度去向有分工：

• PPO 损失更新编码器、量化器、{D}_c 和 critic。
• 后三项辅助损失更新编码器和 {D}_r。
• FSQ 用直通估计（straight-through）把梯度传回编码器。

训练前提是三种模态的同步配对数据：同一段动捕同时有 SMPL 版本和 GMR/PyRoki 重定向后的 G1 版本。

2.3 生成式运动学规划器（交互控制层）

• 在潜空间里做掩码 token 预测（MaskGIT/MoMask 一类）：编码器以 4 倍下采样把运动变成 token 序列；给定首尾各 4 帧关键帧，迭代补全中间的 token，用 cosine schedule 决定每轮确定多少个。
• 生成长度可变，0.8–2.4 s。重规划最高 10 Hz，手柄指令变化时立即重规划；新旧轨迹用 160 ms 交叉淡入衔接。
• 临界阻尼弹簧模型：把用户给的速度和朝向指令平滑成 1 s 后的目标关键帧位置，过滤掉"6 m/s 突然反向"这类不合理指令。
• 关键帧来源很简单：导航从对应风格的片段里取一段放到目标轨迹上；拳击取最有表现力的帧；下蹲/跪姿按目标高度在线检索。每种技能只需要一个片段，25+ 种技能都不用重新训练。
• 推理在 Orin 上约 12 ms。

2.4 上层接口全部接到同一个 token 空间

• 手柄：规划器 → {E}_r
• 全身 VR（PICO + 脚踝追踪器）：SMPL → {E}_h
• 3 点 VR：头和双腕的 SE(3) 加导航指令 → 规划器生成下身 + {E}_m
• 视频/文本/音乐：GEM 生成人体运动 → {E}_h
• VLA：GR00T N1.5 直接预测 78 维动作（64 维 token + 14 维手部关节），跳过编码器，直接喂给 {D}_c

2.5 部署

如图所示：SONIC部署架构

全部在 Jetson Orin 上运行：TensorRT + CUDA Graph，策略单次推理 1–2 ms。系统是多速率的：控制环 50 Hz、指令下发 500 Hz、输入 100 Hz、规划 10 Hz，线程间按"最新数据优先"读取。切换输入源只需切换编码器模式，不用重新训练。

3. 关键结果

• 规模化：数据、模型、算力三个方向都在提升。42M 模型在 OOD 的 test-content 上成功率 99.6%、MPJPE-L 23.8 mm；1.2M 模型是 98.0% / 27.7 mm。OOD 上的增益最明显。
• 对比其他 tracker（MuJoCo，跨数据集）：在 test-content / test-repetition / PHUMA 三个集上，SONIC 成功率 98.5 / 99.2 / 97.2%，BeyondMimic 82.0 / 85.4 / 73.8%，Any2Track 61.6 / 69.4 / 78.5%。
• 对比专用行走控制器 OpenHomie：0–5 m/s 速度跟踪的存活率 98.5% vs 43.0%。OpenHomie 的性能在 8 GPU 时就到顶了（图 S6）。
• Sim2Real：124 条动作，真机成功 123 条；MPJPE 25.7 mm（仿真 22.3 mm）；脚部误差最大，53.7 mm vs 29.0 mm。
• 消融：
  • FSQ 比 VQ-VAE 的 MPJPE 低 8.7 mm。
  • 增加 token 维度比增加量化级别更有效。
  • 去掉一致性损失后，跨编码器的 token 距离变大约 8 倍。
  • 给 VLA 用 token 作动作空间比用 SMPL 平均高 42 个百分点（68% vs 27%）；最复杂的扔易拉罐任务上是 60% vs 0%。

4. 评价

亮点

1. 任务选择的论证比较有说服力。用逐帧密集监督替代判别器或手工奖励，从原理上解释了为什么能扩展；OpenHomie 在 8 GPU 就饱和，可以作为一个反例对照。
2. token 空间的作用比"统一接口"更大。FSQ token 实际上是一个"tracker 能执行的运动"的低维离散流形，VLA 只要在这个空间里输出，解码出来的东西基本都是物理上可执行的。这是 token 方案比 SMPL 高 42 个百分点的根本原因：它相当于给 VLA 加了一层隐式的安全约束和动作先验。
3. 系统完整。从 tracker、规划器、多模态接口、VLA 到车载部署都打通了，而且代码已开源，部分数据（BONES-SEED，288 h）也已公开。

局限与需要审慎看待的地方

1. “Scaling”的证据偏弱。每个轴只有 3–4 个点，成功率本身已经接近饱和（98–99.8%），也没有做幂律拟合。称之为"有利的扩展趋势"比较合适，说是 scaling law 还不够。另外，算力轴把 GPU 数和 batch size 绑在一起，固定迭代次数时两者分不开。
2. 基线比较的条件不对等。作者自己也承认，比较的是跨数据集泛化，baseline 用的是 LaFAN/AMASS 等小数据集，所以领先幅度主要来自数据规模而非算法。核心训练数据（700 h）只公开了一部分，第三方很难完全复现。
3. 成功标准比较宽松。只看局部跟踪（根高度或末端偏差 > 0.25 m 判失败），不考核全局轨迹漂移。
4. "免重定向"只是运行时免了。训练仍然依赖 GMR/PyRoki 离线重定向出来的配对数据，{E}_h --> {D}_r 学到的是在模仿这些重定向器。
5. 统计量偏小。消融都是单次评估；VLA 每个任务只有 10–20 次试验，置信区间很宽。
6. 已知的失败模式：长时间、复杂地面接触的动作（zombie crawl、盘腿坐）会失败；真机上脚部误差明显偏大，精细的足部放置仍是短板。论文也没有专门讨论安全性和能耗。

---

总结：SONIC 把"大规模动捕 + PPO 运动跟踪"作为人形机器人的预训练任务，再用 FSQ 通用 token 把各种输入源接到同一个 tracker 上。它的贡献主要在工程和系统层面，验证了这条路线走得通，而不在于提出新的学习算法。其中最值得借鉴的是"把 token 空间作为 VLA 动作空间"这个设计。