从 Phantom 到 Masquerade:把人手视频改成机械臂画面
核心:估手姿 → retarget 成机器人末端 (位姿 + 夹爪) → inpaint 擦掉手 → MuJoCo 渲染同姿态机械臂叠回画面,让人类视频变成「像机器人在做」的观测

Phantom 的创新是:在受控人类视频上证明「只靠编辑后的人类视频就能出能用的策略」;Masquerade 的创新是:把 Phantom 式编辑推到野外规模,但 3D 不可靠,所以改成「编辑画面 + 2D 辅助 + 必须协同真机」。
1. Phantom:
是固定机位、单手、有深度、精心采集的人类演示,编辑完可以直接当动作标签:用 RGBD + 深度 refine HaMeR,得到较可信的 3D 末端动作,直接训策略。
训练阶段完全不要机器人数据,只靠人类演示视频,经「数据编辑」变成机器人风格的观测–动作对,再训模仿学习策略,真机上零样本部署、不再用机器人数据微调。
Phantom 赌的是:先把人「改成机器人画面」,同时从人手恢复 3D 末端轨迹,整条演示就能当机器人模仿数据用——不需要哪怕一条真机示教
2. Masquerade

Epic Kitchens:头戴相机在动、双手、遮挡、没有深度。单目三维不准,所以贴上的机器人只用来改画面,三维动作不拿去训策略。监督只留投影后的二维末端点,深度方向大约差 3–4 cm:野外无深度,只能 2D 辅助
1. 手在哪。 Epic Kitchens 自带的标注先框出左右手。HaMeR 对每只手出 21 个解剖关键点,带一个单目估出来的 3D。没有深度图,这个 3D 的绝对尺度不准,深度方向大约差 3–4 cm。
2. 21 个点变成机器人末端。
套一个手模型:抓取点(掌心)当末端位置,手的朝向当末端朝向,拇指尖到食指尖的距离当夹爪开合。Robotiq 2F-85 的开口是 0 到 8.5 cm,再映射到夹爪指令。人的灵巧抓法对不上平行夹爪,这一步本来就会歪。
预训练之后,这个二维预测损失不能停
训练侧绕开 3D:策略动作只来自 50 条真机;人类视频只提供「叠臂画面 + 2D 辅助」,不把错误 3D 送进 L_policy
Masquerade 必须每任务 50 条真机 + 协同训练
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)