本用例基于斯坦福大学、麻省理工学院和Scale AI联合开展的研究“模拟环境中的视觉灵巧性预训练”。所有结果和指标均由论文作者提供。如需了解完整的技术细节，请参阅 此处提供的原始研究。

无需昂贵的真实世界数据即可教会机器人灵巧性

训练灵巧机器人策略通常依赖于现实世界的演示，而这种演示在处理大量任务时成本高昂。这种方法难以扩展，因为每个新任务都需要操作员、实体机器人和重复的数据采集。最近一项研究通过将大部分数据采集转移到仿真环境中，然后使用少量真实世界数据来调整策略以适应物理硬件，从而解决了这个问题。

在模拟中收集各种演示

在预训练阶段，操作员在物理模拟器中操控一台56自由度的双侧灵巧机器人，VR头显追踪操作员的手部动作，并通过逆运动学驱动机器人的手臂和手指。由于数据采集不依赖于物理硬件，虚拟物体可以快速重置。五名操作员在六个场景和数百个物体实例中采集了75小时的演示数据，执行开放式任务，捕捉了实现每个目标的多种不同方式。这些数据用于训练一个2.22亿参数的扩散变换器，该变换器能够根据多视角图像和本体感觉预测动作块，并利用感觉运动历史来维持反应性和时间一致性控制。

利用精确的实际远程操作进行微调

经过预训练后，团队通过一个简短的微调阶段，将策略应用到实体硬件上。硬件设置包括两台YAM Pro机械臂，每台机械臂都配备一个22自由度的Sharpa Wave灵巧手，以及三台RealSense D405摄像头，分别用于捕捉俯视视角和每只手的视角。对于每个任务，他们使用与模拟设置相同的远程操作系统，收集了一到两个小时的实际演示数据。在这个阶段，操作人员佩戴MANUS手套进行手指追踪，并搭配Quest控制器进行手腕追踪，取代了模拟中使用的头显内置手部追踪功能。团队表示，这种方式实现了更流畅、更精确的控制，这对于在有遮挡和远距离操控机器人至关重要。

将大规模仿真数据与少量真实世界数据相结合的结果

在所有五项双手操作任务（摆放盘子、堆叠杯子、玩叠叠乐、悬挂马克杯和将瓶子扔进垃圾桶）中，预训练策略的性能均优于在相同真实演示数据上从头开始训练的相同策略。此外，预训练策略的训练损失也更低，研究人员认为这与更强的实际性能相关。该研究表明，大规模仿真预训练可以减少在将灵巧操作策略应用于实体机器人时对真实演示数据的依赖。在真实数据采集过程中，研究人员使用MANUS 手套进行手指追踪，作为远程操作设置的一部分，结果表明该设置能够实现更流畅、更精确的控制，尤其是在有遮挡和远距离操作时。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议，成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。