从人体动捕到多机器人执行:MOXI + Manus 遥操作科研平台技术解析
做具身智能和模仿学习(Imitation Learning)的团队,近几年都绕不开同一个瓶颈:策略模型越来越强,但高质量的人类示教数据(Demonstration Data)仍然稀缺。光学动捕棚精度高,但部署成本和场地约束让很多课题组只能“排期借设备”;自研外骨骼又重、标定繁琐。j-mex 给出的,是一条更轻、更贴近工程落地的路线——以 MOXI 全身无线动捕系统作为主端采集入口,搭配 Manus 数据手套,经 SDK 运动学重定向,直接驱动物理人形机器人与 UR、FR3 双臂机器人。

图1 MOXI 全身无线动捕服:15 个 IMU 节点、全无线、实时机器人遥操作
从架构上看,整套系统分三层。采集层由 MOXI 科研级无线动捕系统承担:15 个 IMU 传感器分布于躯干、大臂、小臂、大腿、小腿与足部,完全无线,不需要在实验室顶部架设光学标记点,也不受快速运动下的遮挡影响,适合走动、转体、双臂协同这类连续动作的连续采集。手部数据由 manus 数据手套同步接入,视频中同时出现了 Manus Metagloves Pro 与 Manus Metagloves ProHaptic触觉反馈手套,指节屈曲、外展与接触信息被纳入同一条数据流。

图2 Live Humanoid Control:操作者动作实时镜像到双足人形机器人
处理层是 SDK 的人体运动学重定向(retargeting)。MOXI 惯性动捕系统输出的是“人体骨骼空间下的关节角”,而不是某一款机器人的电机指令;SDK 完成骨骼映射、工作空间标定与零空间投影后,同一套人体动作可以分别下发到运动学结构完全不同的本体——双足人形、UR 协作机器人双臂、FR3 双臂机器人。这正是演示后半段四通道仿真同时运行的意义:人形模型与双臂模型跟随同一操作者,一次采集、多本体复用。

图3 UR 协作机械臂双臂:主端叠毛巾动作经重定向后协同复现
执行层的三类任务覆盖了具身智能研发的典型场景。人形机器人阶段验证全身姿态跟踪与平衡跟随;UR 协作机器人阶段用两台 UR 协作机械臂复现叠毛巾这种柔性物体双臂协同;FR3 双臂阶段完成双手持杯、小球转移、桌面抓放与按钮触发,对应精密装配与实验室自动化中常见的桌面操作原语。

图4 SDK 人体动作重定向:同一动作同步驱动人形与双臂多模型
对学术科研而言,这条链路解决了三个实际问题:其一,摆脱光学动捕棚的场地依赖,普通实验室即可开展数据采集;其二,全身姿态与手指运动在同一时间戳下同步,不再需要事后对齐多源数据;其三,硬件解耦后,新增一款机器人本体只需接入对应运动学模型,不必重做主端示教系统。面向工业机器人方向,UR这类已在产线验证的协作机械臂加上这套采集链路,即可把熟练工人的操作经验录成可复用的示教数据;高精度表面无损检测、远程危险环境作业、康复机器人步态研究等方向,也能通过遥操作把人的经验安全迁移到机端。
如果你的课题组正在搭建具身智能数据采集平台、评估遥操作主端方案,或计划在 UR/FR3 协作机械臂、双臂机器人与人形机器人之间迁移算法,欢迎关注 “欣佰特科技” ,持续为大家带来 “具身智能领域”前沿技术及应用!详情可邮件咨询sales@cnbestec.com
如果想要预约现场 Demo,我们可以提供 SDK 对接、硬件选型与集成调试的方案咨询。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)