为灵巧机器人构建世界模型始于可靠的动作数据

机器人世界模型能够预测世界如何响应机器人的动作而变化，从而支持远程操作、策略评估和基于模型的规划等应用。对于灵巧机器人而言，由于机器人数据有限且动作标签稀缺，这项工作变得复杂起来，因为收集机器人轨迹成本高昂，而硬件差异又限制了场景覆盖范围。

NVIDIA的DreamDojo解决方案是：首先利用大约44,000小时的以自我为中心的人类视频预训练一个基础世界模型，并将连续的潜在动作作为统一的代理标签。然后，通过对目标机器人数据进行后训练，将这些知识迁移到机器人实例中，包括Fourier GR-1 人形机器人。

使用 MANUS 手套进行实验室人体演示

作为其人机视频数据的一部分，DreamDojo包含一个在桌面实验室环境中收集的实验室内数据集，用于验证核心建模设计。在该数据集中，采集者佩戴MANUS 手套并搭配Vive Ultimate Tracker，以捕捉操作任务中涉及物体和动作的精确手部姿态，这些物体和动作不会出现在默认的GR-1机器人训练数据中。

基于 MANUS 系统的手部姿态测量数据被重新映射到GR-1的动作空间，从而生成符合机器人自由度规范的GR-1动作。这种配置提供了一个高精度、真实可靠的动作条件基线，代表了一种理想场景：额外的运动捕捉设备可以为世界模型提供更精细的动作标签。

潜在动作和机器人动作标签

DreamDojo的可扩展预训练方法依赖于直接从视频中提取的连续潜在动作，这些动作将连续帧之间的运动编码为紧凑的代理标签，从大型人类视频数据集中学习，而无需对每次录制进行运动捕捉。

在实验室消融研究中，作者比较了未进行人眼视频预训练、进行无动作预训练、进行潜在动作条件反射训练以及使用基于GR-1动作（通过 Vive Ultimate Tracker 从 MANUS捕捉到的手部运动中重新定位）进行真实动作条件反射训练的模型。该设置将MANUS手套确立为高精度动作捕捉参考，用于验证潜在动作条件反射训练以及在受控的实验室演示中研究动作重定向。

评估机器人和下游应用

Fourier GR-1是DreamDojo许多实验的主要目标模型，包括实验室评估基准测试。此外，DreamDojo还利用Unitree G1、AgiBot 和YAM进行后训练，从而模拟出超越原始机器人训练分布的各种复杂多变的接触密集型任务和反事实动作。

该基础架构支持下游应用，包括AgiBot水果包装任务的策略评估、基于模型的规划，以及蒸馏后以实时速度对虚拟G1机器人进行远程操控。在这些应用中，基于实验室 MANUS的数据集只是众多评估配置之一，而非唯一的动作数据来源。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议，成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。