SONIC：机器人运动控制的基础模型

技术架构路线图

SONIC 的端到端技术路线。 规模化动作数据与训练算力提供基础，多源运动接口经三类编码器映射到共享 FSQ 运动 token；控制解码器负责物理执行，运动解码器及一致性目标约束潜空间，最终以同一策略支持自然全身运动、交互遥操作与 VLA 移动操作。

一句话总结

SONIC 把“逐帧跟踪海量、多样的人类动作”确立为可规模化的人形机器人基础任务，再用实时运动规划器和统一离散 token 接口连接遥操作、多模态生成与 VLA，从而让一个控制策略承担自然全身控制、交互导航和手脚协同移动操作。

图 1：SONIC 系统全景。 多种人类、机器人和混合输入最终都进入同一通用控制策略；系统展示运动跟踪、交互控制、遥操作、多模态生成和 VLA 移动操作。

图 1：SONIC 系统全景。 多种人类、机器人和混合输入最终都进入同一通用控制策略；系统展示运动跟踪、交互控制、遥操作、多模态生成和 VLA 移动操作。

摘要忠实翻译

尽管十亿参数基础模型已在数千张 GPU 上训练，人形机器人控制尚未显示出相似的规模化收益。当前控制器通常规模不大，只覆盖有限行为，也只在少数 GPU 上训练。本文证明，同时扩大模型容量、数据和计算，可以得到一个能产生自然、稳健全身运动的通用人形机器人控制器。

作者将运动跟踪定位为可规模化的人形机器人控制任务，利用多样化动作捕捉数据提供的逐帧稠密监督，在不逐任务手工设计奖励的情况下获得人类运动先验。其运动跟踪基础模型沿三条轴线扩展：网络规模从 1.2M 到 42M 参数，数据达到 700 小时、1 亿帧以上，训练计算达到 21,000 GPU 小时。

除规模化收益外，本文还证明两种下游价值：实时运动学规划器把运动跟踪连接到导航等任务，实现自然、交互式控制；统一 token 空间让 VR 遥操作、视觉—语言—动作模型与单个策略共享控制接口。由此，系统实现需要手脚协调放置的自主 VLA 全身移动操作。实验显示，性能随计算和数据多样性稳定提升，策略还能泛化到未见动作，因此大规模运动跟踪可成为人形机器人控制的实用基础。

1. 为什么人形机器人控制一直没有“规模化”

语言、图像和视频模型能持续扩展，一个重要条件是训练目标在数据变大后仍提供清晰监督。人形机器人控制则常按任务拆分：向前走有一组奖励，跳舞、倒地起身、遥操作又各有一组。每增加一种行为，都要重新调目标与权重，模型规模本身无法解除这个瓶颈。

AMP、ASE、CALM 等对抗式模仿方法试图用“匹配动作分布”统一多种行为，但数据越丰富，判别器要覆盖的分布越复杂，反馈可能变得模糊并发生模式坍塌。SONIC 的选择更朴素：给定每一帧参考动作，让物理仿真中的机器人尽量跟准。每个时间步都有姿态、速度等目标，因此增加动作类别不会让监督天然变稀。

这篇论文真正的命题不是“大网络更好”，而是：

只要选对基础任务，数据、模型和算力的扩大也能在人形机器人控制中形成连续收益。

2. 数据：规模来自多样性，而不只是帧数

原始动作捕捉约 700 小时，男女表演者数量均衡，片段长度 1–180 秒，覆盖日常活动、基础与高级移动、舞蹈、手势、格斗、物体操作、工具使用、受伤步态、角色扮演等 33 个主类别。动作经 GMR 与 PyRoki 重定向到 Unitree G1，并过滤爬楼、坐椅等目标机器人难以执行的片段，得到：

• 611 小时训练数据；
• 317,189 个训练片段；
• 8,447 个训练动作子类别；
• 50 Hz 下超过 1 亿帧。

测试集故意区分两种泛化：test-content 包含 182 个训练中完全未出现的动作子类别，共 6,998 段、15 小时；test-repetition 则是已知动作类别的新演员或新表演，共 6,306 段、12 小时。外部 PHUMA 数据又来自不同的视频姿态估计和重定向管线，用于检查跨数据源能力。

公开的 BONES-SEED 子集含 142,220 段、288 小时、522 位演员，并带自然语言描述、时间分段与演员信息。

图 6：运动数据集随机样例。 图中可见数据不仅包含直立行走，也覆盖舞蹈、格斗、跪姿、道具交互等差异很大的姿态分布。

3. 通用运动跟踪：三种“语言”，一个动作 token

3.1 MDP、状态与动作

运动跟踪被写成马尔可夫决策过程：

$$\mathcal{M}=⟨\mathcal{S},\mathcal{A},\mathcal{T},\mathcal{R},\gamma ⟩,\underset{\pi }{\max }\mathbb{E}\left[\sum _{t=1}^T{\gamma }^{t-1}{r}_t\right]$$

策略用 PPO 训练。状态由本体感觉和运动指令两部分组成。本体感觉包含关节位置 $\mathbf{q}$、关节速度 $\dot{\mathbf{q}}$、根部角速度 $\mathbf{\omega }$、根坐标系中的重力方向 $\mathbf{g}$ 和上一动作 ${\mathbf{a}}_{t-1}$，并堆叠最近 10 步：

$${\mathbf{s}}_t^p={\left(\mathbf{q},\dot{\mathbf{q}},\mathbf{\omega },\mathbf{g},{\mathbf{a}}_{t-1}\right)}_{t-9:t}$$

运动指令可以是机器人未来轨迹 ${\mathbf{g}}_r$、人体 SMPL 关节点轨迹 ${\mathbf{g}}_h$，或稀疏上身关键点与下身机器人轨迹组成的混合指令 ${\mathbf{g}}_m$。所有量都转到机器人局部坐标系，并使用 6D 旋转表示以减少方向依赖。

策略输出 29 个关节目标位置，再由关节 PD 控制器执行。这是闭环控制：参考动作只规定“想做什么”，策略还会根据机器人最近的真实状态修正关节命令。

3.2 奖励：跟准，也要可执行且平滑

$$r_t=\mathcal{R}({\mathbf{s}}_t^p,{\mathbf{s}}_t^g)+\mathcal{P}({\mathbf{s}}_t^p,{\mathbf{a}}_t)$$

$\mathcal{R}$ 跟踪根位置与方向、身体连杆的根相对位置和方向、线速度和角速度，以及头、双腕、双踝五个末端点；$\mathcal{P}$ 惩罚动作变化率、关节越限、不期望接触、头腕高角速度和足部加速度。作者还随机化摩擦、恢复系数、初始关节、质心偏移和目标动作，并对根速度施加随机冲击。

💡 讲稿补注：所谓“无需手工奖励工程”不是完全没有奖励设计，而是不再为每个语义任务分别写一套奖励。跟踪误差与物理正则仍经过工程设计，但同一组目标可覆盖数千种动作。

3.3 三编码器、FSQ 与双解码器

图 7：通用控制策略。 机器人、人类与混合输入分别编码，再落到共享 FSQ token；控制解码器输出关节目标，辅助运动解码器重建机器人动作。

三个 MLP 编码器分别读取：

1. ${\mathcal{E}}_r$：机器人关节位置和速度的 10 个未来帧，间隔 0.1 秒；
2. ${\mathcal{E}}_h$：人体 3D 关节点的 10 个未来帧，间隔 0.02 秒；
3. ${\mathcal{E}}_m$：当前帧头与双手关键点，加下身机器人未来运动。

编码结果经有限标量量化 FSQ 得到通用 token：

zk=QFSQ(Ek(gk)),k∈{r,h,m} \mathbf z_k=Q_{\mathrm{FSQ}}\big(\mathcal E_k(\mathbf g_k)\big),\qquad k\in\{r,h,m\} zk​=QFSQ​(Ek​(gk​)),k∈{r,h,m}

默认配置使用两个 token，每个 32 维、每维 32 个量化级别。FSQ 不需要学习向量码本、commitment loss 或 EMA 更新，因此避免 VQ-VAE 常见的 codebook collapse，并可用直通估计让 PPO 梯度穿过量化操作。

两个解码器各司其职：

$${\mathbf{a}}_t={\mathcal{D}}_c(\mathbf{z},{\mathbf{s}}_t^p),{\hat{\mathbf{g}}}_r={\mathcal{D}}_r(\mathbf{z})$$

${\mathcal{D}}_c$ 是控制解码器，结合 token 与本体感觉产生关节目标；${\mathcal{D}}_r$ 是辅助机器人运动解码器，只从 token 重建机器人运动。后者使“人体输入→机器人参考动作”成为可监督的隐式重定向。

图 7：通用控制策略。 机器人、人类与混合输入分别编码，再落到共享 FSQ token；控制解码器输出关节目标，辅助运动解码器重建机器人动作。

3.4 联合损失如何把三种输入对齐

$$\mathcal{L}={\mathcal{L}}_{\mathrm{ppo}}+{\mathcal{L}}_{\mathrm{recon}}+{\mathcal{L}}_{\mathrm{token}}+{\mathcal{L}}_{\mathrm{cycle}}$$

重建损失要求三种 token 都能恢复同一机器人参考：

$${\mathcal{L}}_{\mathrm{recon}}=\Vert {\mathcal{D}}_r({\mathbf{z}}_r)-{\mathbf{g}}_r{\Vert }^2+\Vert {\mathcal{D}}_r({\mathbf{z}}_h)-{\mathbf{g}}_r{\Vert }^2+\Vert {\mathcal{D}}_r({\mathbf{z}}_m)-{\mathbf{g}}_r{\Vert }^2$$

token 对齐损失把同一动作的三种表示拉近：

$${\mathcal{L}}_{\mathrm{token}}=\Vert {\mathbf{z}}_r-{\mathbf{z}}_h{\Vert }^2+\Vert {\mathbf{z}}_r-{\mathbf{z}}_m{\Vert }^2+\Vert {\mathbf{z}}_m-{\mathbf{z}}_h{\Vert }^2$$

循环一致性进一步要求人体 token 解码成机器人运动后，重新编码仍回到机器人 token：

$${\mathcal{L}}_{\mathrm{cycle}}={\Vert {\mathcal{E}}_r\left({\mathcal{D}}_r({\mathbf{z}}_h)\right)-{\mathbf{z}}_r\Vert }^2$$

PPO 更新编码器、量化器、控制解码器和 critic；三个辅助损失更新编码器、量化器和运动解码器。critic 在训练时可看基座线速度、完整连杆状态等特权信息，actor 只能看部署时可取得的含噪本体感觉与指令。

💡 讲稿补注：这里的“统一”不是要求三种输入长得一样，而是要求它们对同一个可执行动作给出相近 token。这样，VR、人类视频和机器人轨迹收集的数据才可共同训练上层 VLA。

图 8：跨编码器潜空间对齐。 加入 token 与循环一致性损失后，对角线对应帧明显对齐；移除它们后，跨编码器距离约扩大 8 倍。)

图 8：跨编码器潜空间对齐。 加入 token 与循环一致性损失后，对角线对应帧明显对齐；移除它们后，跨编码器距离约扩大 8 倍。

4. 生成式运动学规划器：从意图补出完整动作

跟踪策略需要参考运动，但手柄只给速度、方向和风格，VLA 也可能只给稀疏目标。SONIC 另训练一个实时运动学规划器，把问题写成自回归的动作补间：历史机器人状态形成起始关键帧，速度/方向/风格或下蹲、爬行、拳击等技能目标形成末端关键帧，模型生成中间 0.8–2.4 秒动作。

连续动作先编码为降采样四倍的潜序列：

{zt}t=1T/4=enc⁡({pt,rt}t=1T) \{\mathbf z_t\}_{t=1}^{T/4}=\operatorname{enc}\left(\{\mathbf p_t,\mathbf r_t\}_{t=1}^{T}\right) {zt​}t=1T/4​=enc({pt​,rt​}t=1T​)

训练时随机遮住 0%–100% 的 token；推理时从全 mask 开始，网络迭代选择置信度最高的位置定稿，定稿比例由余弦日程控制：

$$\rho (L)=1-\cos \left(\frac{\pi }{2}\frac{L}{L_{\max }}\right)$$

根位置与朝向可经临界阻尼弹簧生成目标关键帧：

$$x(t)=\left(x_T-x_0+\left(v_0+\frac{c}{2}(x_T-x_0)\right)t\right)e^{-\frac{c}{2}t}$$

它不会产生振荡，主要用来过滤突然反向等不现实命令。规划器最快每 100 ms 重规划，笔记本低于 5 ms，Jetson Orin 约 12 ms。导航、跑步、爬行等风格只需从对应动作片段选一个目标关键帧；拳击可选手臂伸展最大的帧；下蹲和跪姿可按期望高度在线检索关键帧。每种技能只需一个代表片段，也能生成大量自然转场。

💡 讲稿补注：规划器潜 token 与控制策略的 FSQ 通用 token 不是同一接口。规划器 token 用于生成时间序列；FSQ token 用于统一不同动作输入并驱动低层控制。

图 3：交互式运动控制。 速度、方向和风格可连续切换；骨盆高度可在 0.3–0.8 m 控制；爬行速度为 0–0.5 m/s，拳击动作也可连续响应7)

5. 从视频、文本、音乐与 VR 到同一策略

多模态控制采用 GEM：它把视频姿态估计也视为带约束的生成，用扩散先验接收随时间变化的视频、文本或音乐条件，再输出人体动作。滑动窗口、重叠区和 inpainting 转场降低延迟，生成结果通过人类运动编码器进入 SONIC。

视频输入支持预录片段和单目摄像头，人体动作估计为 60 fps；文本可随时输入“向前走”“左脚踢”等自然语言；音乐控制依据节拍与旋律生成舞蹈。三种模态可在执行中平滑切换。

VR 有两种接口：全身模式使用头显、双手控制器和双踝追踪器，提供完整 SMPL；三点模式只用头和双手的 SE(3) 位姿、手指、腰高与导航命令，由规划器补下半身。

图 4：视频、多模态与 VR 遥操作。 不同输入最终都通过人类或混合编码器接入统一控制策略7)

6. 规模化结果：更大为何真的更好

作者分别比较 4M、10M、22M、100M 帧；1.2M、16M、42M 参数；16、32、128 GPU。所有配置训练 50k 次迭代。最大模型在 test-content 上达到 99.6% 成功率和 23.8 mm MPJPE-L，小模型为 98.0% 和 27.7 mm；OOD 动作获益最明显。更多 GPU 在相同迭代数下带来更大 batch，也改善优化稳定性与最终指标。

图 2：规模化与基线比较。 上排展示数据、模型、算力曲线；中排比较 GMT、Any2Track、BeyondMimic；后续面板比较 OpenHomie 并量化 sim-to-real 差距。

在统一 MuJoCo 评估中 |

SONIC 的 MPJPE-L 为 23.2 mm，较 BeyondMimic 的 39.1 mm 降低 41%。不过各方法训练数据与重定向管线不同，这更适合作为跨数据集泛化证据，而非完全同条件排行榜。

与专用速度控制器 OpenHomie 相比，SONIC 在 0–5 m/s 范围内总体生存率 98.5%，OpenHomie 为 43.0%。后者超过 1.5 m/s 后低于 20%，而 SONIC 到 4 m/s 仍近乎完全稳定。补充实验显示 OpenHomie 扩至 8 GPU 后已经饱和，32 GPU 反而从 0.18 m/s 误差、95.0% 生存率退化到 0.29 m/s、91.2%。这支持作者的解释：窄任务一旦学会便缺少新的监督，而多样运动的逐帧跟踪仍能吸收更多计算。

图 S4：专用控制器的算力扩展。 OpenHomie 的速度误差和生存率没有随 8→32 GPU 继续改善。

7. 仿真到实机：成功率高，接触仍是短板

123 段实机动作中，成功率为 99.2%，仿真为 100%；整体 MPJPE-L 为 25.7 mm，仿真为 22.3 mm。上身差距很小：22.2 对 21.8 mm；脚部则从仿真 29.0 mm 增至实机 53.7 mm，说明精确落脚和接触动力学仍主导 sim-to-real 误差。

图 S2：实机评估样例。 包括街舞、鞠躬、跳跃、踢腿、蹲走等动作；图示序列均成功跟踪。

系统还在无恢复模块、无在线适应时承受约 11 kg 物体从头顶高度落下，并继续保持平衡和跟踪。这证明了扰动训练的效果，但不能替代系统性安全评估。

图 S3：外部冲击实验。 重物落到机器人上后，策略继续执行当前参考动作。

8. VLA：为什么预测 token 比预测 SMPL 姿态有效

SONIC 将 GR00T N1.5 接到通用接口。全身 VLA 输出 78 维动作：64 维通用运动 token 加 14 维手部关节。五类任务结果如下：

任务	训练数据	成功率
苹果放到盘子（三点接口）	300 条	90%
胡萝卜抓取	3,900 条多物体数据	75%
刷子抓取	3,900 条多物体数据	95%
脚踩踏板打开垃圾桶	200 条	70%
易拉罐丢进垃圾桶	1,000 条	60%
电钻装箱并搬到架子	300 条	70%

五任务平均成功率为 75%（两个物体抓取变体在五任务均值中合并）。易拉罐任务连续要求走近、抓取、导航、单脚踩踏板、保持平衡和投掷，是最能说明“脚也是操作器”的任务。

图 5：VLA 移动操作。 从三点接口的苹果抓放，到全身 token 接口下的抓取、踩踏板和搬箱任务。

动作空间消融中，FSQ token 与显式 SMPL 姿态分别取得：

任务	FSQ token	SMPL 姿态
胡萝卜抓取	75%	60%
脚开垃圾桶	70%	20%
易拉罐入桶	60%	0%
平均	68%	27%

论文认为，离散、低维、受运动先验约束的 token 更易从遥操作数据中学习；高维连续姿态的微小预测误差会放大为抖动、方向失控和跟踪失败。这里最可靠的结论是“本系统与数据下，结构化 token 接口显著更好”，而不是离散动作空间在所有 VLA 中必然占优。

9. 关键消融回答了什么

9.1 FSQ 还是 VQ-VAE

在 128 GPU 配置中，FSQ 的 test-content 成功率 / MPJPE-L 为 99.3% / 26.6 mm，VQ-VAE 为 98.7% / 35.3 mm，FSQ 减少 8.7 mm。多样动作分布下，固定标量量化避免了学习码本未充分使用的问题。

9.2 量化容量

在 32 GPU、两个 token 的扫描中，FSQ-16-16 的 OOD MPJPE-L 为 35.7 mm，FSQ-32-32 为 27.5 mm。增加 token 维数比增加每维量化级别影响更大，说明“能表达多少独立运动因素”比“每个因素切多细”更关键。

9.3 三编码器是否真的统一

机器人、人类、混合编码器的 OOD 成功率分别为 99.6%、99.6%、99.2%；MPJPE-L 为 23.8、24.4、26.5 mm。混合输入只看稀疏上身关键点，部分可观测性导致误差略高，但仍能使用同一控制策略。

10. 部署栈：一个策略为何能实时工作

全部推理在 Unitree G1 搭载的 Jetson Orin 上运行，TensorRT 与 CUDA Graph 让策略前向约 1–2 ms，运动生成约 12 ms。系统由四个并发频率组成：

• 50 Hz：组装观测并执行策略；
• 500 Hz：持续写入最新关节目标；
• 100 Hz：读取键盘、手柄、VR 或网络输入；
• 10 Hz：生成短时域运动计划。

输入源统一写入 MotionSequence，切换来源是一次原子指针交换；编码器模式随序列携带，因此无需重新训练或让操作者手工同步模式。历史状态来自环形缓冲区，观测顺序与偏移由 YAML 配置。规划器输出 30 fps、最多 64 帧，再插值到 50 Hz；新旧轨迹用 8 帧、160 ms 交叉淡化。

安全措施包括三阶段启动、关节速度 watchdog、编码输入丢失时回退编码器，以及停止后进入 $K_p=0,K_d=8$ 的纯阻尼模式。不过这些是工程保护，不等同于形式化安全保证。

图 S5：部署架构。 多速率线程、统一参考运动结构、GPU 推理和硬件接口组成完整的板载闭环。

11. 成功、失败与局限

在 test-content 中，街舞、舞台鞠躬、剑刺和回旋踢等未见动作可成功跟踪；僵尸爬行和盘腿坐失败。二者共同指向一个问题：持续、复杂的地面接触和超出 G1 运动学极限的低姿态仍很困难。

图 S1：未见动作的成功与失败。 上四行为成功动作，下两行为僵尸爬行与盘腿坐失败案例。

论文明确承认两项系统级缺口：没有正式研究长期部署安全性，也没有优化能耗。还应补充以下限制：

1. 主要硬件验证集中在 Unitree G1，跨机器人形态的迁移尚未系统证明；
2. 数据规模很大，但过滤掉楼梯、坐椅等不可执行动作，能力边界受当前硬件与重定向管线共同决定；
3. 许多基线使用不同训练数据，比较不能完全分离“算法”和“数据规模”的贡献；
4. 实机 123 个序列各只做一次，VLA 每任务 10–20 次，长尾失败率仍需更大样本估计；
5. 规划器根据动作库关键帧工作，面对新物体几何、复杂接触计划或长时域任务时仍依赖上层模型与感知闭环；
6. 运动跟踪仍含精心设计的奖励和随机化，尚不是完全自动获得的控制目标。

12. 与邻近工作的关系

• BeyondMimic、Any2Track、GMT：同属物理运动跟踪。SONIC 的主要区别是更大数据、模型和算力，以及把跟踪器扩展成多接口下游系统。
• AMP、ASE、CALM：用对抗式模仿统一动作分布；SONIC 强调逐帧参考带来的稠密、可扩展监督。
• OpenHomie：任务专用移动控制器；SONIC 用通用运动先验加生成式规划器完成速度跟踪，并展示专用目标更早进入性能平台。
• GEM：承担视频估计、文本和音乐到人体动作的生成；SONIC 负责把这些运动变成实机可执行控制。
• GR00T N1.5：承担视觉—语言—动作层的任务决策；SONIC 的通用 token 把全身物理控制封装为更适合 VLA 预测的动作空间。

因此，SONIC 不是用一个模型替代整个机器人栈，而是占据“高层生成/决策”和“电机关节控制”之间的运动基础层。

13. 后续最值得追问的问题

1. 数据、模型、batch size 与训练步数之间是否存在可拟合的控制 scaling law，而不只是有限点位的单调曲线？
2. 同一 token 空间能否跨 G1、H1 等不同形态共享，还是需要每种机器人单独对齐？
3. 加入触觉、足底力和视觉反馈后，持续接触与精确落脚误差能否显著降低？
4. token 离散化带来的稳定性收益，分别来自低维、离散、动作先验还是控制解码器？需要正交消融。
5. 长时域 VLA 失败究竟来自感知、任务规划、token 预测还是低层跟踪？需要分层故障标注。
6. 能耗、热管理、摔倒风险和人与机器人共处安全如何进入训练目标与真实评估协议？

最值得记住的结论

SONIC 的核心贡献不是把控制器做到了 42M 参数，而是找到一个能持续吸收规模的训练任务，并给它配上可用的系统接口：运动跟踪学习“身体怎样自然且稳定地动”，运动规划器与 VLA 决定“此刻要做什么”。 当低层全身控制被压缩成统一 token 后，新增遥操作方式、多模态输入和复杂任务不必再各自训练一套控制器；但精确接触、跨形态泛化、长期安全和能效仍是迈向通用人形机器人之前必须解决的硬问题。