搜维尔科技:机器人数据采集:Manus手套如何支持VLA和WAM培训
随着英伟达不断推进灵巧机器人智能的发展,训练数据与模型架构同样至关重要。有效的机器人数据采集能够将视觉观察、人体运动和可执行的机器人动作整合到一个一致的训练数据集中。
对于机器人团队来说,这意味着要捕捉可用于机器人模仿学习的演示,与不同的机器人手集成,并衡量任务性能和适应性的改进。
NVIDIA的研究记录了Manus手部追踪手套如何为视觉语言动作模型 (VLA) 和世界动作模型 (WAM) 的工作流程做出贡献。
VLA训练:从人体运动到机器人动作

GR00T N1使用MANUS手部跟踪手套进行机器人远程操作,将人手运动转化为机器人训练数据,以实现灵巧操作
视觉-语言-动作模型将视觉观察和指令转化为动作。对于灵巧操作,训练演示必须体现手指协调运动和腕部运动。
GR00T N1记录了一个机器人远程操作流程,该流程使用Manus Metagloves进行手指追踪,并使用VIVE Ultimate Tracker进行手腕姿态追踪。人体动作被重新定向为机器人指令,并与视觉观察结果一起记录下来。
Manus数据手套提供手部运动测量数据。通过校准、运动重定向和同步记录,将这些测量数据转换为机器人训练数据。
EgoScale:精准至上

从20,854小时的人类视频到灵巧操作,Manus手套提供了人机对齐的训练数据。
EgoScale将大规模人机视频预训练与较小的数据集相结合,旨在实现精确的人机对齐。
其VLA模型基于超过20,854小时的以自我为中心的视频进行预训练。随后的对准阶段使用Manus手套,数据集包含约50小时的人体数据和4小时的机器人数据。通过手部运动测量、腕部追踪和匹配的摄像机视角,建立了人体演示与机器人感知和控制之间的对应关系。
现阶段,Manus提供精确的手部运动数据,有助于将大规模的人体运动先验转化为可执行的机器人动作。对于机器人数据采集而言,这表明有针对性的运动捕捉如何将广泛的人类经验与特定的机器人形态联系起来。

EgoScale中以自我为中心的数据采集,结合了Manus手部跟踪手套和头部及手腕摄像头
WAM培训:学习行动及其视觉结果

无需机器人参与即可采集机器人数据,Manus手部跟踪手套可捕捉GR00T 2训练的实验室任务
世界动作模型能够联合预测视频和机器人未来的动作。GR00T2演示表明,Manus捕捉到的人体运动数据支持这一联合学习过程。
演示人员佩戴Manus手套、PICO腕部追踪器以及头部和腕部摄像头执行任务。他们的运动轨迹会在离线状态下重新映射到机器人动作,从而无需机器人同时执行任务即可完成演示。
视频序列用于监督未来帧的预测,而人类和机器人的动作则用于训练一个共享的动作头。特定任务的人类演示与与任务无关的机器人游戏数据相结合,使模型能够基于目标机器人的外观和运动进行训练。
这种方法可以在不进行特定任务的机器人远程操作演示的情况下进行学习,同时保留机器人经验作为训练的一部分。
区别在于训练目标。在VLA示例中,Manus支持动作监督和具身对齐。在GR00T2中,捕捉到的运动数据与视频数据共同用于学习未来的视觉结果和相应的机器人动作。
从研究到数据收集工作流程
对于开发机器人数据采集工作流程的团队而言,数据采集流程必须与机器人的运动学特性和模型的训练目标相契合。四个评估领域有助于确定该工作流程是否能够提供可用数据并支持有效的学习。
Manus支持在这些研究流程中进行手部动作捕捉和人机对齐。精确的手部追踪和机器人专属的运动映射有助于将捕捉到的动作转化为可用的机器人训练数据。
关于搜维尔科技
我们热衷于数据手套技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于手指捕捉技术的最新体验。搜维尔科技作为Manus数据手套中国大陆地区的全国总代+核心战略伙伴。现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐




所有评论(0)