本页概念卡
AdaPT · GVHMR · SMPL · GMR · MVAE · Planner–Tracker 解耦 · 速度自适应跟踪 · 残差跟踪器 · DeepMimic · AdaMimic · Vid2Player3D · MoCap · Sim-to-Real

一句话定位
AdaPT（Adaptive Motion Planning and Tracking）让人形机器人从电视转播视频里学纳达尔 / 费德勒 / 德约的职业风格，再在真机上既「打得着球」又「看起来像那位球员」——关键是把「想动作」和「做动作」拆开，并在两边都加上速度自适应来扛住仿真到真机的落差。

新手若只想先懂方法链路，先读：2026-08-24 - AdaPT人形网球自适应运动规划与跟踪。

背景概念（给新人）

术语	白话
风格化运动（stylized motion）	不只「能打到球」，还要保留球员特有的挥拍、转体、脚步节奏
Planner–Tracker	高层「编剧」出参考动作，底层「演员」尽量跟上
SMPL	可变形的标准人体网格模型，用来描述姿态
GVHMR	从单目视频恢复世界系人体运动 → 输出 SMPL 参数
GMR	把人体动作映射到机器人关节空间
MVAE	运动 VAE：用潜变量生成多样但合理的下一帧动作
速度自适应	训练时故意让参考动作变快/变慢，真机跟不上时还能扛
Sim-to-Real	仿真里学得好，真机上因摩擦、延迟、感知噪声变差

论文在干什么

痛点：已有人形球类工作多盯「击中 / 回球成功率」，职业风格（全身发力链、回位）容易丢；而「规划–跟踪解耦」在仿真漂亮，真机上跟踪误差会被自回归规划和感知噪声放大。

贡献：

1. 统一的 AdaPT：跟踪侧学随机速度，规划侧输出速度适配量，缓解误差累积。
2. 视频 + MoCap 多源数据；Unitree G1 与全身 Dobot Atom（~1.7m）上复现多球员风格。
3. 野外发球：YOLO 检球 + HTC VIVE 定位，可不依赖完整 MoCap 场地。
4. 给出解耦架构 vs 紧耦合 prior 的响应性–风格权衡等工程洞见。

方法总览

1. 数据管线（§3.1）

1. 剪 ~2s 完整击球片段（纳达尔 / 费德勒 / 德约 + MoCap 运动员）。
2. GVHMR 重建 SMPL；手腕不准时按球员风格修正。
3. GMR 重定向到机器人；接发数据加手腕随机扰动以丰富挥拍方向。
4. 标注：正反手、旋转类型、触球时刻；发球再标抛球释放时刻。
5. 先训一个通用 tracker，把重定向结果「物理修正」成可跟踪的 $D_{\mathrm{rally}},D_{\mathrm{serve}}$。

2. 速度自适应跟踪（§3.2）

跟踪视为 MDP。观测含参考/当前位形、关节速度等；动作为 PD 目标。

核心技巧：用混合系数 $\alpha$ 在相邻参考帧间插值/外推：

$${\hat{q}}_t^{\alpha }=(1-\alpha ){\hat{q}}_{t-1}+\alpha {\hat{q}}_t,\alpha \sim \mathrm{Unif}({\alpha }_{\min },{\alpha }_{\max })$$

→ 训练时参考动作忽快忽慢，真机跟踪变慢时仍有鲁棒性（思路来自 AdaMimic，但本文把速度适应作为预训能力）。

3. 接发规划（Rally，§3.3.1）

基于 Vid2Player3D：

• 用 MVAE 解码器 $D_{\mathrm{rally}}(z_t,{\hat{p}}_{t-1})$ 生成下一运动状态；辅助预测正反手 / 旋转。
• 规划策略输出 $(z_t,{\alpha }_t)$：既选「打哪类动作」，又调「执行多快」。
• 看未来球轨迹 → 解耦架构更依赖较长 lookahead（实验洞见）。

4. 发球规划（Serve，§3.3.2）

发球多样性低、自驱动 → 不另训生成器，直接跟踪 $D_{\mathrm{serve}}$：

• Planner 只出 ${\alpha }_t$ 调进度。
• 残差跟踪器：$a=a^{\mathrm{track}}+\Delta a$，应对真实抛球偏差。
• Keyframe：最深后摆帧加强局部跟踪奖励，避免只为击球而「糊掉」后摆。
• 抛球抛物线奖励 + 释放时刻随机化，缩小夹爪/碰撞仿真误差。

5. 真机部署（§3.5）

• 球：MoCap 或 YOLO + 立体三角化；物理模型（重力+阻力，忽略旋转）预测短时轨迹。
• 机器人：MoCap 或 VIVE Tracker 全局位姿。
• 接发时双高层策略：无球用站立策略，有球切 rally，防止 MVAE 自回归漂移。

实验结论（记住这些）

• 仿真：AdaPT 在风格（FID 等）与成功率之间比纯 RL / AMP / 紧耦合 prior / 无适应的 Vid2Player3D 更均衡。
• 真机接发：Adaptive Tracker + Adaptive Planner 缺一不可；相对 Vid2Player3D 击球率明显提升。
• 发球：速度适应有助于远距离落点；抛球奖励避免「抛太低凑合打」。
• 权衡：解耦架构更吃准的未来球轨迹；紧耦合（PULSE/NCP 类）更「跟手」但风格易糊。

要点总结

1. 「职业风格」≠ 好看装饰，而是全身协调发力与回位的结构化运动。
2. 视频 → SMPL → 重定向 → 物理修正 → Planner/Tracker，是可复用的数据管线。
3. Sim-to-real 在解耦架构上会「规划漂移 × 跟踪误差 × 感知噪声」三重放大；速度通道是本文的粘合剂。
4. 接发用生成器、发球用残差，是任务特性决定的方法分支，不是随便堆模块。

开放问题

• 忽略球旋转的轨迹模型，在强上旋/切削时误差有多大？
• Atom 与 G1 是否共用同一策略还是分别训？
• 速度 $\alpha$ 在真机上的数值范围与失效模式？

附录：方法新手导读（原文完整并入）

2026-09-11：从 transcript 恢复原文后完整并入精读，避免 stub 丢正文。

本页概念卡
AdaPT · GVHMR · SMPL · GMR · MVAE · Planner–Tracker · 速度自适应 · 残差跟踪器 · MoCap

读之前先有这幅图
想象教一个「不会网球的机器人」去模仿费德勒：
1）先从比赛录像里「抄动作」；
2）把人的动作改写成机器人关节能做的动作；
3）高层决定「下一拍怎么打、打多快」；
4）底层努力跟上这些关节目标。
AdaPT 就是把第 3、4 步做得更抗真机误差。

精读版（术语更全）：2026-08-24 - AdaPT人形网球自适应运动规划与跟踪

1. 这篇论文到底解决什么问题？

已有人形打球论文，多数目标是：球打过去就算赢。

但职业网球里，费德勒和纳达尔「打过去」的方式完全不同——转体、后摆、脚步、节奏都不一样。作者认为这些风格不只是好看，还对应更高效的全身发力与回位，对关节行程和能量有限的人形很重要。

所以目标变成两件事同时成立：

1. 任务成功：接住、打回、发进区。
2. 风格像人：看起来仍像指定球员，而不是「随机乱挥但碰巧打中」。

---

2. 为什么要拆成 Planner 和 Tracker？

生活类比：电影拍摄。

角色	在系统里叫什么	负责什么
编剧 / 导演	Planner（规划器）	决定「这一拍该用什么姿势序列、节奏多快」
演员	Tracker（跟踪器）	尽量把规划出的关节姿态在物理世界里演出来

这叫 Planner–Tracker 解耦。

好处：规划只管「像不像人」（运动学风格），少被「球飞歪了怎么硬凑」带偏。
坏处：真机上演员演不准时，导演若还按「理想剧本」一帧帧往下编，误差会越积越大（自回归漂移）。AdaPT 就是来补这块。

---

3. 数据从哪来？五个动词串起来

按流水线记五个词：剪 → 重建 → 重定向 → 标注 → 修正。

3.1 剪

从纳达尔 / 费德勒 / 德约的公开转播里剪约 2 秒、含完整脚步与挥拍的片段；也用 MoCap（动作捕捉）数据证明框架不挑来源。

3.2 重建：视频 → 人体模型

这里出现两个你问到的缩写：

1. SMPL = Skinned Multi-Person Linear Model
   • 白话：一套「标准人体橡皮人」参数（体型 + 各关节姿势），神经网络好算、也好在人之间比较。
2. GVHMR = Gravity-View Human Motion Recovery（论文全名常写作 World-Grounded Human Motion Recovery via Gravity-View Coordinates）
   • 白话：看一段单目视频，估计出「这个人在真实世界重力系里怎么动」，输出 SMPL 参数。
   • 它用 Gravity-View（重力–视线）坐标系，减轻「世界坐标每段视频都不一样」的歧义，也避免逐步推算带来的误差堆积。

手腕在侧视遮挡时容易估不准 → 作者按球员击球习惯再修手腕，并对接发数据做手腕扰动，让挥拍方向更多样。

3.3 重定向：人体 → 机器人

人的骨架和 Unitree G1 / Dobot Atom 不一样。用 GMR（General Motion Retargeting）把 SMPL 运动映射到机器人关节。

3.4 标注

正手 / 反手 / 发球、上旋 / 切削、触球时刻；发球再标「球出手时刻」，方便估抛球抛物线。

3.5 物理修正

直接重定向的动作可能穿模、违反平衡。先训一个通用跟踪器，把动作「洗」成仿真里跟得住的参考集 $$\begin{gathered} D_{ \\ mathrmrally},D_{ \\ mathrmserve} \end{gathered}$$。

---

4. 底层 Tracker：先学会「快慢都能跟」

跟踪器每个控制周期看：参考姿势、当前姿势、速度等，输出关节目标，再交给 PD 控制器。

AdaPT 的关键训练花招：随机改参考动作的播放速度。

• 把相邻两帧参考姿势按系数 $alpha$ 混合。
• $alpha$ 小 → 动作变慢；$alpha$ 大 → 变快。
• 训练时随机抽 $alpha$，逼跟踪器适应不同节奏。

真机电机、摩擦、延迟导致「跟不上理想速度」时，策略仍见过类似情况。这就是 速度自适应跟踪。

接发时还会把**根朝向（躯干朝哪）**放进观测——转体对正反手风格很重要；发球更结构化，可以省略。

---

5. 高层 Planner：接发与发球为什么不一样？

作者先看数据分布：接发动作很散、要应对未知来球；发球更集中、是自己抛球自己打。

5.1 接发（Rally）

工具箱：Vid2Player3D + MVAE。

• MVAE = Motion Variational Autoencoder（运动变分自编码器）
  • 白话：把「下一帧合理动作」压进一个随机密码 $z$，解码器根据 $z$ 和上一状态吐出下一姿态。
  • 好处：能生成多样但看起来仍像网球运动的动作，而不是只会一套固定录像。

规划器看到机器人状态 + 未来球轨迹估计，输出：

• $z_t$：让 MVAE 生成怎样的下一动作；
• $alph{a}_t$：这一拍整体执行多快。

为什么要看未来球轨迹？
解耦架构不像「紧耦合」策略那样每时每刻死盯当前球；它更像提前排好一段好看的动作。lookahead 不够准，风格和命中率都会掉——论文实验专门讲了这个权衡。

5.2 发球（Serve）

工具箱：AdaMimic 思路 + 残差跟踪器。

• 直接跟踪发球参考序列，规划器主要输出速度 $alpha$。
• 再学一个残差 $Deltaa$：在「跟录像」之上微调，专门对付真实抛球高度/时机的变化。
• 关键帧奖励：在后摆最低点强制盯住球拍/手腕，防止策略为了命中率把漂亮后摆「抄近路」省掉。
• 抛球奖励：按抛物线约束抛球高度与时机；太低虽然好打，但发不远、风格也不对。

---

6. AdaPT 名字里的 Adaptive 到底改了什么？

把「仿真能打、真机糊掉」拆成两类病：

病	表现	AdaPT 药方
跟踪病	真机关节跟不上参考	Tracker 训随机速度
规划病	导演仍按理想进度往下编，误差滚雪球	Planner 也输出/使用 $alpha$，按跟踪能力调进度

消融实验（真机接发）：只开一边都比原始 Vid2Player3D 好，两边一起最好。

---

7. 真机怎么闭环？

• 实验室：动捕厅更准，方便评测。
• 野外发球：相机检球 + VIVE 定机器人，不必整场 MoCap。
• 接发无球时切「站立策略」，避免 MVAE 空转漂移导致乱晃。

---

8. 和常见路线比，你该建立什么直觉？

路线	直觉	风格	任务响应
纯 RL（不看人数据）	自己摸索打中球	往往不像人	可以很高
AMP 等对抗风格奖励	「像不像」当额外分	局部像，全身相位易乱	中等
PULSE / NCP 类紧耦合 prior	动作与当前状态缠在一起	易被任务带偏	跟手
Vid2Player3D 解耦	风格好，但真机易崩	仿真好	真机差
AdaPT	解耦 + 速度适应	保留风格	真机明显回升

DeepMimic 类「整段模仿」发球能成功，但细腻腕部/随挥容易为任务牺牲；AdaPT 用分阶段 + 关键帧 + 速度适应保风格。

---

9. 一张清单：你现在应该能讲清楚

1. 目标：职业风格 + 击球成功，不是二选一。
2. 数据：视频 --GVHMR→ SMPL --GMR→ 机器人动作。
3. 结构：Planner 出动作意图与速度，Tracker 执行。
4. AdaPT 心法：让跟踪「快慢都能跟」，让规划「按跟踪能力调速」，抑制误差累积。
5. 接发 vs 发球：多样生成（MVAE）vs 参考跟踪 + 残差。
6. 真机关键依赖：球轨迹预测要准；解耦系统尤其吃准。

若某一缩写仍晕，点开文首概念卡即可；精读数字与表格见 2026-08-24 - AdaPT人形网球自适应运动规划与跟踪。