在具身智能从实验室走向真实场景的进程中,“数据”正在成为决定机器人能力上限的核心变量。全身遥操数采系统则是聚焦人形机器人+灵巧手核心本体,打造VR遥操作、全身动捕遥操作双模式数采方案,打通真人示教、实时遥操、数据录制、回放分析全流程,帮助机器人研发团队快速完成真机数据采集与训练数据沉淀。

系统专为机器人遥操作数据采集场景研发,支持单系统实时遥操控制多台机器人本体。依托内置重定向后端运行环境,实现低延迟数据传输、多路视频解码推送、URDF数字孪生驱动、多模态数据联动录制回放全链路能力,有效降低机器人动作数据采集门槛,大幅提升科研与开发迭代效率,广泛适用于算法训练、产品展示、科研实验、性能评估等各类场景。
在这里插入图片描述
提供两种独立且可灵活切换的操控模式,无需更换系统即可适配多样化任务:

动捕模式:全身自由映射

支持对接主流动捕引擎,通过UDP通信协议稳定接收全身人体动捕数据,实现真人动作向机器人的实时映射与遥操作数采。

同时依托机器人搭载的多轴陀螺仪、压力传感器,实时监测机身重心与受力状态,结合强化学习算法自适应微调机器人姿态,修正动作偏差,让机器人复刻的全身动作更精准、灵活、稳定,高度还原真人运动逻辑。

配套动作一键冻结功能,可随时定格机器人当前动作,方便操作人员调整人机相对位置、优化动作姿态,进一步提升数据采集的精准度与完整性。

VR模式:轻量化操控

以Pico 4 VR头显为核心输入载体,兼容手柄操控、手势追踪两种交互方式,可控制机器人躯干、双臂、双手等全机身部件。在实时操控过程中,通过VR头显共享机器人视觉,可同步采集机器人各部件运动状态、头显与手柄位姿态等核心数据,操作门槛低、上手速度快,适合精细化单双臂操作、场景化任务示教采集。

训练数据的价值,不仅在于"有没有",更在于"能不能用"。灵控进阶版围绕多模态同步采集与标准化存储两大核心,构建完整的数据闭环。

**- 多路数据流同步采集:**系统同步记录VR头显/手柄位姿、动捕全身数据、机器人关节角度/速度/力矩/电气数据、多路摄像头视频及音频。各数据流按统一时间轴对齐,避免后期手动对帧的繁琐工作;
**- 一键启停录制与联动回放:**支持一键启动/停止录制,操作门槛低;录制完成后可基于统一时间轴进行同步回放,方便快速验证动作质量与数据完整性;
**- 标准化Episode目录结构:**数据以episode为单元组织存储,内含metadata.yaml(任务元信息)及mocap、vr_input、robot_state、cameras、audio子目录。任务类型、场景名称、操作员标识等信息自动写入,直接对接后续训练流程。

不只是"把人的动作传给机器人",而是建立一套人-机-数据的实时协同机制。

**- 宇树G1全身协同控制:**深度适配宇树G1人形机器人(29自由度),支持URDF数字孪生驱动与真机控制;
**- 强脑灵巧手精细控制:**支持强脑灵巧手(左右手各6路主动关节角)的精细操控与数据采集,覆盖抓取、捏取、操作工具等复杂手部动作场景;
**- 低延迟视频流与状态可视:**支持实时接收并解码机器人头部、左右手腕等多路摄像头视频流,低延迟推送显示,并支持帧率与分辨率实时查看。界面集中展示后端连接状态、VR/动捕输入状态、机器人状态、录制状态及系统日志,现场排查问题一目了然。

配置参数,开箱即用
在这里插入图片描述
从VR的沉浸式操控,到动捕的全身自然映射;从多模态数据的同步采集,到标准化格式的训练就绪,想做的是一件事:把数据采集的门槛降下来,把训练迭代的效率提上去。

无论是从事机器人强化学习、模仿学习算法研究,还是需要产品演示与科研验证,这套系统都能成为数据管线中可靠的一环。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐