启元机器人技术基础学习之论文解读:ASAP —— 把「仿真与现实的物理差异」学成一个可训练的残差动作模型
启元机器人技术基础学习之论文解读:ASAP —— 把「仿真与现实的物理差异」学成一个可训练的残差动作模型
读人形机器人论文时,我越来越少被"又做了一个更大模型"打动,越来越多被一个朴素问题绊住:同一条策略,在仿真里把动作复现得很好,搬到真机上为什么就开始晃、开始跛、开始摔?过去我把它笼统归为"sim-to-real gap",这个说法没错,但它太像一个标签——贴上去之后,反而没人继续追问差距具体落在哪个关节、多大、能不能被测量和修正。
ASAP 这篇论文把这个问题拆开了。它的答案不是换一个更大的网络,也不是再加一轮域随机化,而是:把仿真与真机之间的物理失配,显式学成一个作用在动作上的残差项,再让策略在"被残差修正过的仿真"里重新训练。论文全名是 ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills,来自卡内基梅隆大学与 NVIDIA,arXiv 编号 2502.01143,v3 更新于 2025 年 4 月 26 日。论文与代码公开在 arXiv、项目主页 与 GitHub。
先把边界钉死:论文里的机器人是 23 自由度的 Unitree G1,训练场是 IsaacGym,测试场是 IsaacSim、Genesis 与真实 G1。启元 Q1 是另一套本体、另一套执行器,本文所有数字都是论文实验数据,不是 Q1 的实测结果。我要做的是把可迁移的方法论抽出来,再对照 Q1 的开发记录看哪些能直接用、哪些必须重写。

图 1:论文 Figure 1,Unitree G1 在真机上完成的踢球、跳跃、单脚平衡、深蹲、前后走与负载干扰下的动作序列。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
一、背景:卡住人形机器人的,往往不是"看得不够像"
这两年具身智能的注意力大量集中在 VLA 上:给模型一张图、一句话,输出一串动作 token,让机器人去叠衣服、开抽屉。这类工作解决的是"语义到动作"的映射,前提是底层有一套能把目标关节角稳定执行下去的控制器。我在读 GR00T N1、OpenVLA、π0 这一族论文时反复遇到同一条隐含假设:下层运控是可用的。
而人形机器人的下层运控,恰恰还没那么可靠。它不是把一个 PID 调好就结束了。双足系统要同时处理欠驱动、接触切换、执行器延迟、摩擦变化、质量分布误差,以及传感器噪声。于是主流路线在仿真里用强化学习批量训练全身策略,再迁到真机——因为真机采集一次跌倒的代价太高,仿真可以摔几百万次。
问题就出在这里:仿真再准,也不是真机。传统上应对这件事有三条路。
第一条是系统辨识(SysID):把质量、惯量、摩擦、PD 增益这些参数估计得尽量准,让仿真逼近现实。这条路的问题是,人形机器人的非线性环节太多,参数辨识得好不等于轨迹对得上,尤其时间长了误差会累积。论文里 SysID 在 0.25 秒短时域几乎和基线持平,到 1 秒时域就明显掉队,正是这个现象。
第二条是域随机化:把仿真参数撒成一个分布,让策略见过各种"可能的现实",靠鲁棒性硬扛。代价是策略趋于保守——为了不摔,动作幅度被压小,论文里那些单脚跳、大角度后仰的敏捷动作就很难做出来。
第三条是残差动力学:学一个模型去修正仿真里的状态转移,即让 (f_{sim}(s,a)+\Delta f) 接近 (f_{real})。思路很对,但它要拟合的是连续动力学本身,自由度极高,少量真机数据极易过拟合。论文 Figure 5 里 DeltaDynamics 的曲线就是典型:前期还行,后面误差一路爬到 2000mm 以上。
ASAP 的切入角度是:不去修动力学,去修动作。如果仿真里执行动作 (a) 得到的状态转移,和真机上执行 (a) 的转移不一致,那就找一个小修正量 (\delta),让仿真里执行 (a+\delta) 等价于真机执行 (a)。修正量定义在动作空间而不是状态空间,维度低得多,十分钟的真机数据就够训。这个转换是整个工作的关键,也是我觉得对 Q1 最有价值的一点。
二、核心方法:两阶段,把"物理错位"变成可训练的动作残差
2.1 阶段一:从人类视频到全身动作预训练
ASAP 的第一阶段并不是直接训一个"从指令到动作"的策略,而是先训一个全身动作跟踪策略(motion tracking policy):给定一段参考动作,让 G1 在仿真里复现它。参考动作的来源是互联网人类视频,管线见论文 Figure 3。

图 2:论文 Figure 3,(a) 原始人类视频 → (b) TRAM 估计的 SMPL 人体姿态 → © 强化学习清洗后的 SMPL 动作 → (d) 重定向到 G1 → (e) 仿真中跟踪后的 G1 动作。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
这里有个容易被忽略的工程细节:从视频反推的 3D 人体姿态并不干净,足部穿地、关节抖动、体态漂移都很常见。论文用一套强化学习流程对 SMPL 动作做"仿真可行性清洗",再把人体动作重定向到 G1 的关节空间。换句话说,数据清洗本身就被当成了强化学习问题,而不是靠阈值滤一滤。这个取向我很认同:人形机器人的动作数据,可行性是动力学属性,不是几何属性。
跟踪策略本身采用基于相位(phase-based)的目标条件:观测包含本体感受历史(关节角、角速度、根部投影重力、上一步动作),目标包含参考动作在未来窗口的关节位置与一个时间相位变量 (\phi\in[0,1])。策略输出目标关节角,交给 PD 控制器执行。奖励由关节位置跟踪误差及若干正则项构成。训练在 IsaacGym 里大规模并行完成,覆盖论文定义的 7 类动作 × 3 个难度等级,从易到难包括走、前后迈步、深蹲、单脚平衡、侧跳、前跳。
2.2 阶段二:Delta Action Model —— 让仿真执行"被修正过的动作"
这是论文的核心。先说直觉:假设真机在状态 (s) 执行动作 (a),转移到 (s’);仿真在同一状态执行 (a) 却跑到另一个地方。我们不改仿真器,只给动作加一个小修正:
[
a’ = a + \pi_{\Delta}(s,a), \qquad f_{sim}\bigl(s,,a+\pi_{\Delta}(s,a)\bigr) \approx f_{real}(s,a)
]
(\pi_{\Delta}) 就是 delta action model。它学的不是"现实比仿真多多少力",而是"要在仿真里复现真机效果,我该给动作补多少"。这两个说法在数学上相差一个雅可比,但在工程上差别巨大:前者要辨识连续动力学,后者只要拟合一个低维动作残差。
训练数据的来源很关键:作者在真机上采集状态—动作轨迹,然后把这些真实轨迹在仿真里回放,以动作误差为监督训练 (\pi_{\Delta})。真机负责提供"发生了什么",仿真负责提供"如果补一点动作会怎样",两边拼起来才构成可训练的样本。训练完成后 (\pi_{\Delta}) 被冻结,成为仿真环境的一个固定变换层。

图 3:论文 Figure 2。(a) 动作预训练与真机轨迹采集;(b) 用真机轨迹训练 delta action model;© 冻结残差模型,在被对齐的仿真中微调策略;(d) 真机部署。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
这里有个我认为非常值得抄的设计:残差模型一旦冻结,就不再跟着策略一起变。这把"环境修正"和"策略优化"解耦了。如果两者联合训练,策略会学会利用残差模型的误差,残差模型又反过来迁就策略,最后得到一对互相欺骗的模型——在训练环里表现很好,一到真机就崩。冻结是防止这个共适应(co-adaptation)的简单手段。
2.3 微调与部署:残差不是直接加到真机动作上
最容易读错的一点是部署方式。ASAP 不会把 (\pi_{\Delta}) 的输出直接叠加到真机动作指令上。真机执行的仍然是微调后的名义策略 (\hat{\pi}(s)) 输出的动作;(\pi_{\Delta}) 只在训练阶段出现在仿真环境里,作用是让仿真"表现得像真机"。策略在这个被对齐的仿真中重新用强化学习微调,学到的策略才拿去真机跑。
论文还做了一个很务实的降维:真机数据里只微调 4 个自由度的踝关节残差,而不是全部 23 个关节。理由有两个——踝关节是双足机器人与地面接触的直接界面,也是物理失配最集中的地方;同时自由度越少,少量真机数据越不容易过拟合。整个真机数据采集规模是 100 段动作片段、约 10 分钟的行走类数据。这个成本对任何有本体的团队都不是天文数字。
三、实验设计:三个问题,三层验证
论文的实验组织得很清楚:先问"能不能把仿真轨迹和真机轨迹对齐"(开环动力学匹配),再问"对齐之后策略跟踪得更好吗"(闭环动作模仿),最后问"真机上真的行吗"。三个问题对应三组完全不同的评测协议,读的时候不能把数字混着比。
3.1 开环回放:同一串动作,在两个物理世界里跑出两条轨迹
第一组实验是 sim-to-sim:在 IsaacGym 里采集一条状态—动作轨迹,然后把同一串动作分别送进 IsaacSim 和 Genesis 回放,看轨迹偏离多少。这个设计很聪明——它把策略因素完全排除掉了,只测"物理一致性"。如果同一串动作在两个引擎里跑出两条路,那差异必然来自动力学,而不是策略决策。

图 4:论文 Figure 5。上四行分别是 Vanilla、SysID、DeltaDynamics、ASAP 在回放同一条踢球动作时的逐帧对比;下方曲线是 MPJPE 随时间的变化。Vanilla 与 SysID 到 150 步时误差冲到 2000mm 以上,ASAP 全程压在几百毫米。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
图 4 一眼就能读出结论:Vanilla 和 SysID 的轨迹后期完全散架;DeltaDynamics 前期还行,后期级联误差放大;ASAP 的曲线几乎贴着地面走。表 III 的数字更具体:在 IsaacSim 里回放 1 秒长的动作,OpenLoop 的全局关节位置误差 (E_{g\text{-}mpjpe}) 是 80.8mm,SysID 降到 77.6mm,DeltaDynamics 是 68.1mm,ASAP 是 37.9mm;换到 Genesis,对应数字是 82.5 / 76.5 / 50.2 / 36.9mm。注意 0.25 秒时域下四种方法几乎没差别(19.5 / 19.4 / 24.4 / 19.9mm)——物理失配是时间累积量,短时域看不出问题。这一点后面讲 Q1 时还会用到。
3.2 闭环模仿:从"轨迹对不对"到"任务成不成"
第二组实验把策略放回闭环:让策略在测试环境里看着参考动作自己做决策,统计成功率与四类误差(全局位置 (E_{g\text{-}mpjpe})、根相对关节误差 (E_{mpjpe})、加速度误差 (E_{acc})、根部速度误差 (E_{vel}))。表 IV 覆盖 Easy / Medium / Hard 三个难度和 IsaacSim / Genesis 两个测试环境,所有变体使用相同奖励。
结果有两个层次。一个是成功率:ASAP 在全部六个格子里保持 100%,而 DeltaDynamics 在 Hard 档的 IsaacSim / Genesis 分别掉到 66.7% 和 60.0%,Vanilla 在 Genesis 的 Hard 档是 82.9%。另一个是误差:在难度最高的 Genesis-Hard 格,Vanilla 的 (E_{g\text{-}mpjpe}) 是 175mm,SysID 是 186mm,ASAP 是 129mm;(E_{mpjpe}) 是 80.7 / 93.0 / 77.0mm。

图 5:论文 Figure 6。列是七类动作(前跳、侧跳、单脚平衡、深蹲、后退、前进、行走),行是 Easy / Medium / Hard 三个难度,每组包含真人与 G1 的动作序列,灰度圆点表示时间推进。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
这张图我想提醒的是难度分级的含义:Easy 到 Hard 不是换动作,而是同一类动作做得更快、幅度更大、接触更短。也就是说,论文在主动逼近动力学边界——只有在快速、大幅、短接触的动作里,物理失配才会从"可以忽略的偏差"变成"决定成败的因素"。如果 Q1 的测试永远只走最慢的步态,那这套方法带来的收益你根本观测不到。

图 6:论文 Figure 7,(a) IsaacGym → IsaacSim,(b) IsaacGym → Genesis。蓝色虚框为微调前,红色虚框为微调后,下方是 MPJPE 随 timestep 的变化。IsaacGym → Genesis 一组里,微调前误差最终超过 800mm,微调后被压在约 150mm。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
图 7 值得单独看,因为它把"为什么开环对齐有用"讲透了:微调前的策略在换引擎后不是一开始就错,而是逐步发散——前 100 步还接近参考动作,之后误差持续爬升。这正是开环实验里看到的累积误差在闭环中的表现。ASAP 没有让策略变得"更强",只是让它少走了一段本不该走的弯路。
3.3 真机:分布内与分布外都要看
第三组实验回到真实 G1。作者选了两个"在真机上有明显 sim-to-real 落差"的动作:踢球,以及 LeBron James 的"Silencer"庆祝动作。每个任务执行 30 次。Silencer 还额外承担分布外测试——残差模型是用行走类数据训的,却拿去做上肢大幅摆动、重心剧烈变化的动作。

图 7:论文 Figure 8。上半为微调前,下半为微调后;左半是分布内动作,右半是分布外动作。蓝色框与红色框标出了足部接触区域的差异。作者描述微调后机器人动作更平滑、下肢抖动更少。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。

图 8:论文 Figure 9。用预训练的前跳策略做真机部署,三名实验者同时对 G1 施加扰动。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
表 V 的数字:踢球任务的 (E_{g\text{-}mpjpe}) 从 Vanilla 的 61.2mm 降到 ASAP 的 50.2mm,(E_{mpjpe}) 从 43.5 降到 40.1,(E_{acc}) 从 2.96 降到 2.46,(E_{vel}) 从 2.91 降到 2.70。分布外的 Silencer 差距更大:全局误差 159mm → 112mm,关节误差 55.3 → 47.5,加速度误差 3.43 → 2.84,速度误差 6.43 → 5.94。
读这组数字要注意两件事。第一,论文没有在真机实验里报告成功率,报告的是四类跟踪误差;"没有摔"和"跟得更准"不是同一件事。第二,作者明确说真机上无法像仿真那样方便地重置状态,策略切换得靠人工处理。这类工程细节通常不写进摘要,却是复现时最耗时间的地方。
四、消融与机制:残差究竟学到了什么
论文第五节用三个问题把机制拆开:残差模型怎么训最好、怎么用最好、以及它为什么起作用。这部分比主结果更值得细读,因为它给出了参数选择的依据,而不是只报一个最优数字。
4.1 数据量、预测时域、动作范数权重

图 9:论文 Figure 10。(a) 真机动作片段数量 43 / 430 / 4300 / 43000;(b) 训练时域 0.25s / 0.5s / 1.0s / 1.5s;© 动作范数权重 0.0 / 0.001 / 0.01 / 0.1 / 1.0。浅色柱是开环误差,深色柱是闭环误差。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
三条结论都很实用。
数据量:43 条动作片段时闭环误差是 534.02mm,430 条骤降到 104.95mm,4300 条降到 97.51mm,43000 条只回到 98.15mm。也就是说,从 430 到 43000,误差几乎不再下降。这是一个非常明确的"够用点"——在这个任务上,百条量级的真机轨迹就能把残差模型训到饱和。
预测时域:0.25s / 0.5s / 1.0s / 1.5s 对应的闭环误差是 123.43 / 118.46 / 97.51 / 113.28mm。太短学不到累积漂移,太长则把超出残差模型能力范围的误差也硬塞进去,1.5 秒反而变差。存在最优窗口。
动作范数权重:0.0 / 0.001 / 0.01 / 0.1 / 1.0 对应 180.97 / 169.19 / 125.90 / 97.51 / 176.52mm。这个正则项约束残差幅度,权重太小残差乱飞,太大残差被压没。最优在 0.1。
4.2 为什么必须"用 RL 微调",而不是解析地把残差减掉
既然有 (f_{sim}(s,a+\pi_{\Delta})\approx f_{real}(s,a)),一个自然的想法是:直接令 (a=\hat{\pi}(s)-\pi_{\Delta}(s,\hat{\pi}(s))),一步把残差减掉,不就对齐了?论文 Figure 11 比较了这个思路的两个变体(定点迭代、梯度搜索)和 RL 微调。

图 10:论文 Figure 11。ASAP(红)全程维持在约 200mm;梯度搜索(橙)、定点迭代(绿)很快爬到 800–1100mm;不做微调的 Before DeltaA(蓝)在 10 秒后超过 1200mm。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
结论很干脆:解析修正只在单步成立,一旦进入闭环,策略会不断进入新的状态,残差模型在这些状态上的外推误差被反馈放大。RL 微调的价值在于,它让策略在所有会访问到的状态上学会配合残差,而不只是在参考轨迹附近。
4.3 和"加动作噪声"的本质区别
域随机化里常见做法是在训练时给动作加随机扭矩噪声,逼策略学会抗扰动。ASAP 专门做了对照:把噪声水平设为 1/40、1/20、1/10、1/5、2/5,看闭环误差。

图 11:论文 Figure 12。绿色曲线是加噪声微调的结果,从 182.0 / 175.2 / 173.5 / 201.5 一路涨到 1208.3mm;紫色虚线是未微调基线 336.1mm,红色虚线是 ASAP 的 126.9mm。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
噪声在小幅值时略有改善(173.5mm),但始终够不到 ASAP 的 126.9mm;噪声一旦大到 2/5,误差爆炸到 1208.3mm,比不微调还差三倍多。这个对比说明:物理失配是有方向的,随机噪声是无方向的。前者可以被学成一个确定的修正,后者只能靠鲁棒性硬扛,而鲁棒性的代价就是牺牲敏捷度。
4.4 残差集中在哪些关节:踝关节是主战场

图 12:论文 Figure 13。红色圆点大小表示残差幅度。踝俯仰 0.056 / 0.054,膝 0.049,髋滚转 0.038 / 0.039,髋偏航 0.033,髋俯仰 0.037,踝滚转仅 0.0228 / 0.017,肩肘普遍在 0.011–0.017。图片来源:论文原图(arXiv:2502.01143v3),仅用于学术解读。
这张图是整篇论文对 Q1 最有指向性的一张。残差幅度最大的不是肩、不是腕,而是踝俯仰(0.056)和膝(0.049),髋部次之,上肢最小。物理失配不是均匀分布在机体上的,它高度集中在与地面接触、承担支撑与推进的那条运动链上。论文把它总结成一句话:残差主要集中在下肢,尤其是踝关节,这也解释了为什么只微调 4 个踝关节自由度就能拿到绝大部分收益。
五、对启元 Q1 开发实践的启发
我之所以把这篇论文放到 Q1 的语境里读,是因为它讨论的失败模式太熟悉了:位置腿、纯位置 PD、基于 DCM/LIPM 的轨迹生成,在仿真里能走出漂亮的步态,一上真机就在足端接触那一瞬间偏掉。前面记录过的闭环步行摔倒分析已经指出,踝关节饱和是一个绕不开的环节。ASAP 没有直接解决 Q1 的问题,但它给出了一套重新组织问题的顺序。
5.1 先做开环回放,再谈闭环调参
以前排查这类问题,我的习惯是改控制器参数:调 DCM 时间常数、调 LIPM 步幅、调 PD 增益,然后重新跑一遍看摔不摔。这个循环的问题是变量太多,每次改动都同时影响轨迹规划和底层跟踪,摔了也不知道是哪一层出的错。
ASAP 的开环实验给了一个更干净的切入口:把真机实际走过的状态—动作序列原封不动拿回仿真回放。策略因素被完全排除,剩下的偏差只能来自动力学。对应到 Q1,具体做法是在真机上录一段稳定行走的关节角指令与本体状态,按时间戳在 MuJoCo 里重放,画出MPJPE 随步数变化的曲线,而不是只比较终点位置。
图 4 提醒我一件容易被忽略的事:0.25 秒时域下四种方法误差几乎一样(约 19mm),1 秒时才拉开到 37.9mm 对 80.8mm。短窗口测不出 sim-to-real 问题。如果 Q1 的诊断只取半秒数据,得到的结论会是"仿真够准了",然后继续在最慢的步态上调参,永远碰不到真正的问题。要把回放窗口拉到至少一个完整支撑相以上,最好覆盖两步。
5.2 残差加在动作层,比重新辨识动力学便宜得多
Q1 的控制栈是分层的:上层 DCM/LIPM 生成为保持重心稳定所需的步幅、足端轨迹,下层把目标翻译成关节角,交给位置 PD 执行。这条链路里,最容易测量、也最容易施加修正的接口是关节角指令——它正是 ASAP 中 (\pi_{\Delta}) 作用的位置。
还有一点让这个类比更贴合:论文的 action (a_t\in\mathbb{R}^{23}) 就是目标关节角,交给 PD 控制器驱动电机,和 Q1 的位置型接口属于同一类。差别在于关节数、减速比、PD 实现和执行器响应,而不是控制范式本身。
这比走系统辨识路线现实。要辨识一台 22 自由度位置腿机器人的质量分布、关节摩擦、执行器延迟,需要专门的激励轨迹和大量测量;而在真机指令上加一个小修正,只需要录一段正常行走数据。更重要的是,前者追求的是"仿真参数等于真机参数",这在电机饱和、齿轮间隙这些非线性面前很难成立;后者追求的是"仿真在修正后产生相同结果",绕开了对物理参数一一对应的执念。
但这里有一条不能跨的线:不要把残差加在 DCM 参考轨迹或 LIPM 状态上。图 12 告诉我们残差是接触链上的局部修正,它修正的是执行器与地面的交互结果,不是重心动力学模型本身。把它注入高层状态估计,等于用局部误差去污染全局模型,会让上层规划在一个被人为扭曲的状态上做决策,风险高得多。落在踝关节目标角这一层,改动范围最小、可回滚性最好。
5.3 踝关节优先:图 12 给出的定量排序
ASAP 的关节残差统计给出了一张清晰的优先级表:踝俯仰 0.056 / 0.054 居首,膝 0.049 次之,髋滚转 0.038 / 0.039、髋俯仰 0.037、髋偏航 0.033 居中,踝滚转反而只有 0.0228 / 0.017,上肢普遍在 0.011–0.017。
这个排序和 Q1 的失效机理是对得上的。位置 PD 的踝关节在足端接触瞬间要承担把 LIPM 的虚拟落点变成真实 ZMP 的任务;一旦位置指令超出执行器能力,实际踝角跟不上,足底压力中心就偏离规划轨迹,下一拍的 DCM 状态随之出错,误差在闭环里被逐拍放大。ASAP 说踝俯仰是最大残差来源,等于从另一个本体、另一套实验协议上,给这个机理提供了旁证。
操作上我会这样排:先用真机数据只拟合 Q1 双侧踝关节的俯仰自由度(必要时再加滚转),其余关节保持不动;验证闭环改善后,再考虑是否扩展到膝和髋。理由是图 10 的消融已经显示,残差模型自由度越大、数据需求越高,而收益在百条片段后就饱和了。一步步扩,比一开始就上全身残差稳得多。
5.4 用"够用点"控制采集成本
图 10(a) 那条曲线是给资源有限团队的一颗定心丸:43 条片段时闭环误差 534mm,430 条时 105mm,4300 条时 97.5mm,43000 条时 98.2mm。百条量级之后基本饱和。配合论文真机数据采集只有约 10 分钟,这意味着"先验证方法有没有用"这一步的成本是可控的。
对 Q1 而言,我会把采集目标定为几十到几百段稳定行走片段,每段覆盖两到三步,而不是追求长时间连续录。第一段数据训出的残差如果能让回放曲线明显下降,再决定要不要加量;如果完全没变化,说明问题不在物理失配,而在控制器结构或状态估计上,此时继续采数据只是浪费时间。
5.5 分层看问题:VLA 决定做什么,残差决定做得准不准
前面读 GR00T N1、OpenVLA、π0 时,关注的是"视觉语言模型怎么把语义变成动作";ASAP 完全不碰语义,它假设参考动作已经给定,只关心身体能不能把这个动作做出来。这两类工作不是竞争关系,而是上下层关系。
对 Q1 现在的阶段,这个区分尤其重要。上层基础模型带来的泛化能力再强,如果下层执行器在接触瞬间跟不上指令,最终表现出来的仍然是晃动和摔倒。ASAP 的立场是先把底层物理对齐做扎实,让"给定动作就能稳定执行"成立,再谈接什么大脑。我认同这个顺序:先让机器人把手艺练稳,再让它听懂更多指令。
5.6 一份可以照着做的清单
把上面的讨论收拢成可执行步骤:
- 在真机上录制稳定行走片段,同步记录关节角指令、本体状态与时间戳,不做任何人为干预。
- 在 MuJoCo 中以相同初始状态回放,绘制 MPJPE—步数曲线,分别截取 0.25s / 0.5s / 1.0s 三个窗口。
- 若 1.0 秒窗口误差显著大于 0.5 秒窗口,判定存在可学的累积物理失配;否则先查控制器与状态估计。
- 残差模型只拟合踝关节俯仰(必要时加滚转),动作范数正则从 0.1 量级起步,训练时域从 1.0 秒起步。
- 冻结残差模型,把它作为仿真环境的固定变换,再在仿真里重跑同一位姿控制器。
- 回真机验证时,记录与步骤 2 相同的误差曲线和窗口指标,不要只记"摔了没有"。
- 部署阶段不要把残差直接叠加到真机指令上——它只属于训练环境。
这套流程不需要改 Q1 的机械结构,也不需要引入新传感器,属于纯软件侧改造。它的价值不在于复现论文的数字,而在于把"仿真到真机为什么摔"这个大问题,切成"哪一段窗口开始漂""哪个关节漂得最多"两个可回答的小问题。
六、局限与边界
读这篇论文时我给自己划了几条线,避免把结论用过头。
第一,单本体验证。所有真机实验都在 Unitree G1 上完成,23 自由度,输出目标关节角交给 PD 控制器,执行器特性与 Q1 不同。虽然控制范式相近,但关节数、减速比和本机响应都不一样,残差的具体数值不能迁移,只有方法论可以借鉴。
第二,真机数据覆盖面有限。100 段动作片段、额外约 10 分钟行走数据,主要是行走类;分布外测试只做了一个 Silencer 动作并配合三人推搡的扰动实验。论文还坦白记录:数据采集过程中有两台 G1 出现不同程度的损坏,原因是敏捷动作让关节电机过热。它证明的是方法在小样本下有效,不是"任意敏捷动作都能迁移",也不该低估采集体力。
第三,残差模型不建模慢变量。(\pi_{\Delta}(s,a)) 只看当前状态与动作,电机温升、电池电压下降、地面材质渐变这类随时间漂移的因素不在它的输入里。真机长时间运行后,静态残差可能失效。
第四,没有报告真机成功率。真机部分给的是四类跟踪误差,不是成功/失败计数。误差下降不等于摔倒概率下降,尤其在接近动力学边界的动作上。
第五,解析修正失败的原因值得保留。图 11 说明残差不能简单地从动作里减掉再执行;任何试图"实时补偿"的工程实现都要重新验证闭环稳定性。
第六,论文目前是 arXiv 预印本版本,结论仍应以后续正式发表版本为准。
七、结论
ASAP 最打动我的不是某个百分比,而是它把 sim-to-real gap 从一个形容词变成了一个可以测量、可以训练、可以定位到具体关节的量:开环回放看漂移窗口,关节统计看残差分布,冻结残差再微调策略。三步都有明确的工程对应物。
对 Q1 来说,可以直接拿走的是三件事:把诊断顺序改成"先开环回放、后闭环调参";把优先改造对象锁定在踝关节俯仰通道;把数据目标控制在百段量级先验证趋势。至于论文里的具体网络结构、参数数值和 G1 的动作库,都不必照搬。
如果只能留一句话:当仿真和真机对不上的时候,先别急着怪模型不够大——去看一看那条动作轨迹是从第几步开始漂的,又是哪个关节先漂。
参考资料
- Tairan He, Jiawei Gao, Wenli Xiao, et al. ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills. arXiv:2502.01143v3, 2025. https://arxiv.org/abs/2502.01143
- 项目主页:https://agile.human2humanoid.com/
- 开源代码:https://github.com/LeCAR-Lab/ASAP
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)