作者:叶毅翔(天津商业大学 · GewisLab)
平台:本地 RTX 5070 Laptop + AtomGit CANNLab 云端昇腾 NPU
关键词:启元 PrimeBot Q1 / GVHMR / GMR 动作重定向 / 昇腾 Ascend 910 / PPO / MuJoCo
博客文档由 GewisLab leader lhwLHWjackl的个人 a小lo爱吃棒棒糖 的博客代发,博客撰写叶毅翔同学

写在前面

最近在做一个很有意思的课题:给一段真人视频,让启元 Q1 人形机器人在仿真里学会视频中的整套动作。

这次选的参考视频难度不低——真人在约 12 秒里连贯完成了站立展臂、分腿跳、单腿平衡、后弯、侧踢/后踢、俯身触地、燕式平衡、马步下蹲等动作,幅度大、单腿支撑多、还带整圈旋转。而 Q1 是一个足端只有约 8.6×6.6 cm 的小足端人形,这就给整个任务埋下了最核心的矛盾。

这篇文章把整条链路和我踩过的坑完整记录下来,包括:

  • 单目视频 → 三维人体姿态(GVHMR);
  • 人体姿态 → 机器人关节角(GMR 重定向);
  • 两个关键数据问题:双脚悬空、开环轨迹不平衡;
  • 为什么行为克隆(BC/DAgger)会"越像越摔";
  • PPO 强化学习为什么能不摔、却把动作做成了"关节锁死";
  • 最终采用的动力学感知重定向方案,以及沉淀下来的方法论。

整个过程没有把失败包装成成功,结论都以策略在仿真里的实际闭环执行结果为准。


一、整体技术路线

先上整体链路,分为"本地数据处理"和"策略/参考生成"两部分:

单目视频
  │  下载 + ffmpeg 裁剪出真人片段
  ▼
GVHMR:三维 SMPL-X 人体姿态恢复
  │  body_pose / global_orient / transl
  ▼
GMR:逐帧逆运动学(IK)重定向到 Q1 的 22 个关节
  │
  ▼
构建 50fps 标准 npz(MuJoCo 正运动学 + 校验)
  │
  ├─ 问题一:双脚悬空 ──► 逐帧贴地修复(ground_align)
  ├─ 问题二:开环轨迹不平衡 ──► 动力学感知重定向(约束 IK)
  │
  ├─ 开环模仿学习(BC / DAgger):失败,精确跟踪即失稳
  ├─ PPO 闭环策略:能不摔,但动作被压缩、关节锁死
  │
  ▼
最终成品:动力学适配参考 + 正身视角渲染(azimuth=270)

二、运行环境

类别配置
本地 GPUNVIDIA RTX 5070 Laptop,8 GB,Blackwell(sm_120)
本地 CPU / 内存AMD Ryzen 9 8945HX,16 核 32 线程 / 15.8 GB
系统Windows + WSL2(Ubuntu 24.04)
姿态估计环境Python 3.11,gvhmr 1.6.1,torch 2.7.1 + cu128
重定向/训练/渲染环境Python 3.15,torch 2.14 + cu130,MuJoCo 3.17,mink 1.4

这里有个第一个坑:RTX 50 系是 Blackwell(sm_120),官方 GVHMR 锁定的 torch 2.3 + cu121 根本不兼容,而且官方 GVHMR 依赖的 pytorch3d 没有 Windows 原生 wheel。最终的可行组合是:在 WSL2 里用 gvhmr 的 1.6.1 分支,配合 torch 2.7.1 + cu128。另外注意 GVHMR 要在前台运行,用 nohup 挂后台会静默退出,这个排查了好一阵。


三、视频下载与裁剪

页面加载会弹登录遮罩,关掉遮罩后读取页面 <video> 元素的 currentSrc,拿到带签名的临时直链,再带上 Referer 和 UA 下载。原始视频规格为 1920×1440、12.376 秒、371 帧(30fps)。

视频是左右分屏(左真人、右仿真),需要把真人那一半裁出来。测量分界约在 x=768,取安全边界 x=755,用 ffmpeg 裁剪:

ffmpeg -i source_video.mp4 -vf "crop=755:1440:0:0" -t 12.3 left_person.mp4

得到 754×1440、369 帧的干净真人片段,首帧站立、末帧马步,没有右侧仿真残留。

我还特意做了一张每 0.5 秒一帧的密集联系表核对真人动作,确认真人在单腿平衡、俯身、马步段落始终有支撑脚接触地面。这个结论在后面判断"长悬空是数据漂移、不是真实腾空"时非常关键。


四、GVHMR 三维姿态估计

在 WSL2 里用 GVHMR 对裁剪后的真人视频做三维姿态恢复,程序自动识别为静态相机,产出 hmr4d_results.pt,共 369 帧,与视频帧数一致。

输出包含身体姿态 body_pose、体型参数 betas、全局朝向 global_orient、全局平移 transl,全部字段无 NaN,可以直接交给后续重定向。


五、GMR 重定向与标准 npz 构建

5.1 逐帧 IK 重定向

复用 GMR(Gaussian Motion Retargeting)流程,基于逐帧逆运动学把 SMPL-X 动作映射到 Q1,用 quadprog 求解。369 帧全部求解成功,测得对应人体身高 1.7458 m,得到包含 22 个关节角、根位置、根朝向的结果。

5.2 重采样到 50fps 并构建 npz

把 30fps 的重定向结果重采样到 50fps,通过 MuJoCo 正运动学计算 26 个身体部位的位置/朝向和各阶速度,得到 614 帧(12.28 秒)的标准 npz。

初步校验结果很健康:

  • 全部数据有限,四元数模恒为 1;
  • 22 个关节零越界;
  • 排除根身体后,25 条父子连杆的最大骨长波动只有约 1.8e-7(机器精度级),说明骨架刚性恒等、运动学计算正确。


六、关键问题一:双脚悬空

6.1 诡异的"6 秒腾空"

对初步 npz 做接触分析,结果非常反常:双脚贴地仅占 31.8%,双脚离地高达 51.3%,还出现一段长达 304 帧(6.08 秒)的连续"腾空"。真人不可能连续 6 秒腾空,结合前面的真人动作核对,可以确定这是重定向漂移。

根因在于:GMR 采用逐帧独立 IK,根位置直接来自 SMPL 平移缩放,没有逐帧接触约束;而构建 npz 时用的单一全局贴地量,只能让全局最低的那一帧恰好到地面,其余帧依旧悬空,漂移在姿态切换中不断累积。

6.2 逐帧贴地修复

我写了 ground_align.py,核心是不依赖绝对高度的接触判据:

# 某脚竖直速度足够小 → 判定为接触脚
if abs(foot_vertical_velocity) < V_TH:      # V_TH = 0.6 m/s
    foot_z = 0.0                            # 接触帧精确贴地
else:
    foot_z = np.interp(...)                 # 腾空帧用相邻接触帧线性插值
# 再加 max(dz, -min_foot) 的“不穿地”约束

修复后:614 帧中 603 帧为接触帧,较低脚高度恒为 0,腾空帧(脚高于 5cm)降为 0;唯一的负值是俯身触地时手腕穿地约 1.6cm,属于手触地的合理接触。

这里也踩过一个坑:贴地时对修正量做窗口平滑会引入穿地,必须改成"接触帧精确贴地 + 不穿地约束",不能简单平滑。


七、关键问题二(核心):开环轨迹不平衡

7.1 误差分解:94% 来自根部

贴地解决了几何问题,但一进入单腿平衡段,跟踪误差就迅速增大。我对开环轨迹做了一次误差分解,得到了决定性的结论:

对比方式(身体 RMSE)数值
原始总身体误差1.307 m
仅对齐根部位置0.456 m
对齐根部位置与朝向(纯关节误差)0.078 m

也就是说,身体误差约 94% 来自根部(位置 + 朝向),纯关节误差只有 0.078m。在 3.5~4 秒进入单腿平衡时,根部朝向误差从 56° 直接跳到 179.6°——策略的偏航角完全不跟随参考的整圈旋转(参考偏航跨度约 503°)。

7.2 根本张力:"像参考就会摔,不摔就必须偏离"

配套的动力学分析给出了完整边界:

  • 参考动作在 Q1 上力矩/执行器能力充足(最大力矩比约 0.32,零超限);
  • 运动学零越界、接触力可行;
  • 但用纯前馈 PD 强制关节精确跟踪时,根部约 0.2 秒就失稳。

原因其实不难理解:参考关节轨迹是为真人动力学设计的开环轨迹,里面根本没有为 Q1 做的平衡修正。 Q1 足端只有 8.6×6.6cm,支撑面极小,强制精确跟踪会在 0.2 秒内失稳;策略要保持平衡,就必须主动转动/移动根部,把质心拉回足部支撑域。

这就是整个项目最核心的矛盾:"像参考就会摔,不摔就必须偏离。" 开环 BC/DAgger 无论怎么修数据、放慢速度、隔离腿部,都无法消除这个结构性张力。

7.3 手动控制器也救不了

在转向强化学习之前,我还尝试了基于矢状面倾角的手动脚踝/髋部反馈,以及线性倒立摆的 LQR 控制器。方向是对的(脚踝反馈一度把倾斜从 10.3° 拉到 0.4°),但受限于关节位置式 PD 与理想力矩控制之间的映射和延迟,反馈强度不足以阻止倾斜,分别在 127、157 步失稳。


八、PPO 强化学习:能不摔,但动作"锁死"

8.1 让 PPO 在环境里直接学平衡

和之前"闪身步"任务的成功经验一致,我让 PPO 直接在仿真环境里学平衡,三个关键配置:

  1. 官方终止阈值:一摔倒立即终止重置,给 PPO 明确的"活得久"激励;用宽松终止时机器人乱动也能跑满,没有平衡压力;
  2. 随机初始化、充分探索:从 BC 先验 resume 并压低探索会把策略锁死,无法发现平衡纠正动作;
  3. 本地 CPU 并行:256 个并行环境、8 个 worker(15.8GB 内存下 16 worker 会 bad allocation 崩溃)。

训练曲线很健康,平均存活从初期的约 1 秒一路涨到 12 秒以上。最终模型在官方口径下:651 步(13.02 秒)完整跑满,最大倾斜仅 10.54°,双脚贴地、无 NaN。

8.2 新问题:关节锁死

但正身视角下一看,问题来了:动作和视频不符,机器人像被"关节锁死"。

定量诊断发现,这一版参考本身就把 root 和腿、腰全部固定在首帧、只保留手臂,所以腿部峰峰值全为 0;策略执行时腿部只有维持平衡的小幅纠正。后续我又做了组合参考、手臂课程、关节跟踪奖励、成片平滑等多轮返工,结果发现:

  • 三个能跑满的版本,实际动作几乎完全趋同(手臂 ptp 都在 0.66~0.68,肘部几乎不动);
  • 调手臂幅度、加关节跟踪奖励都无法让动作显著变化;
  • 对成片做平滑,反而又被判定成"关节锁死"。

这确认了一个事实:在"单任务 PPO + 位置式 PD"的技术栈下,动作由物理平衡约束决定,而不是参考或奖励信号。 策略会理性地收敛到"双脚分腿、重心左右转移、小幅弓步/马步、手臂小幅挥动"这个安全集合,单腿、高踢、大幅上举都无法稳定完成。继续在这个框架里调参,边际收益极低。


九、最终方案:动力学感知重定向

绕了一大圈,最终被认可的是一个在重定向阶段就考虑机器人自身平衡的参考轨迹,而不是闭环策略。

9.1 先标定能力边界

带质量模型测得:

  • 整机总质量 16.917 kg;
  • 足端几何水平半尺寸约 x 0.043 / y 0.033 m(即约 8.6×6.6cm);
  • 脚踝最大恢复力矩约 m·g·0.043 ≈ 7.1 Nm;
  • 贴地动作只有 74.6% 的帧质心落在支撑域内。

9.2 约束 IK:保持支撑脚不动,移动根部与腿部

关键认识是:整体平移根部时,脚和质心一起移动,质心相对支撑脚的关系不变。所以必须做"保持支撑脚世界位姿不动、移动根部与腿部"的约束 IK:

  • 冻结根部高度、根部旋转、腰部、双臂共 14 个自由度;
  • 保留根部水平移动和双腿;
  • 用硬脚位姿任务 + 仅水平方向的质心任务 + 姿态正则做二次规划。

之后再对根部平移和关节做去尖峰、窗口 3 轻平滑,并逐帧贴地。最终参考的校验结果:

校验项结果
帧数 / 帧率 / 时长614 帧 / 50fps / 12.28 秒
22 关节越界零越界
非根连杆骨长波动约 1.89e-7(刚性恒等)
质心在支撑域内比例94.5%(580/614)
根部水平最大速度2.356 m/s(尖峰从约 11 m/s 降至此)
较低脚高度0 ~ 0.020 m(连续贴地)

9.3 正身视角渲染

最后要从正面看到动作。这里有个细节:参考首帧根部偏航角本身就是 81.84°(不是 0),相机方位角不能直接取 0。对首帧做完整 8 方位探测后,确定 azimuth=270 正对机器人正面(可见脸、胸、双脚),配合 elevation=-8°、distance=3.0 渲染。

最终成品在正身视角下,站立、分腿、单腿、高踢、俯身触地、燕式、弓步、马步形态齐全,全程正面、姿态正常、无穿地。

需要如实说明它的技术性质:这是经过动力学感知重定向的参考轨迹回放(运动学适配 + 平衡可行约束),不是 PPO 闭环在线执行。闭环 PPO 能保证物理上绝对不摔,却会把动作压缩到关节锁死;而动力学适配参考在每一帧都满足质心支撑域和关节限位的前提下,保留了完整丰富的动作形态,更符合"按机器人能力适配、自然不僵硬"的要求。


十、沉淀下来的方法论

整条链路走下来,最有价值的一条经验是:

视频驱动人形动作的关键,不在"复刻人类关节角",而在"重定向阶段就用机器人自身的质量、足端、关节限位做平衡可行性约束"。

先得到机器人能力内的适配参考,再根据需要选择闭环强化或直接回放。如果一上来就把真人关节角硬灌给小足端机器人,必然撞上"精确跟踪即失稳"的墙。

关于能力边界

当前"PPO + 位置式 PD"技术栈能稳定做到的是:双脚分腿、重心转移、小幅弓步/马步、手臂小幅挥动;无法稳定完成单腿平衡、高踢、腾空、整圈旋转、俯身、手臂大幅上举。这不是调参能解决的,而是小足端 + 开环参考的结构性限制。

如果未来要求适配参考也能在闭环下高保真执行,可行的高还原方向是:

  • WBC / MPC:实时规划质心和脚点,再用全身控制器算力矩,把平衡与跟踪解耦;
  • 大规模多动作通用策略(如 PHC、OmniH2O 一类):用海量动作数据和大规模算力训练通用跟踪策略,再在目标动作上微调。

这两条路线工程量都不小,但能在保持稳定的同时显著提升对大幅度单腿动作的还原。


结语

这个项目最大的收获,其实是学会了"尊重机器人的物理能力"。人形机器人不是把人的动作一比一映射过去就能动起来,在机器人自身的质量、足端和关节限位内做平衡可行性约束,才是让动作既完整又自然的关键。

如果这篇文章对你理解视频驱动人形动作、GVHMR 重定向或小足端平衡有所帮助,欢迎点赞、收藏、关注,后续会继续更新人形机器人相关的工程实践。


作者:叶毅翔(天津商业大学计算机科学与技术 2603 班,GewisLab 团队) 相关工程:MuJoCo 物理仿真、GVHMR 三维姿态估计、GMR 重定向、PPO 强化学习、昇腾 NPU 适配

项目地址:[https://atomgit.com/GewisLab/q1-task-bench
https://atomgit.com/PrimebotTech

启元机器人开发者社区 https://dev.primebot.com/。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐