搜维尔科技:从全身姿态到指尖灵巧:基于Xsens动捕与 Manus数据手套的人形机器人远程操控解决方案
将Xsens惯性动捕套装与Manus数据手套结合,用于人形机器人的远程操控,是目前动作捕捉类遥操作方案中精度与效率综合表现最突出的技术路线之一。其核心价值不在于“穿上就能控制”,而在于它用两套互补的传感技术,分别解决了大肢体运动与手指精细操作这两个在物理原理上差异极大的捕捉难题,并通过一套可工程化的中间件栈,将人的运动可靠地“翻译”为机器人的关节指令。

这两套系统解决的是不同尺度、不同物理性质的运动捕捉问题,互补性远大于重叠性。
Xsens(身体层) 采用17个IMU(惯性测量单元)分布在骨盆、胸骨、头部、上臂、前臂、手、大腿、小腿和足部,每个传感器输出6自由度数据,由MVN软件融合解算出全身骨骼姿态。IMU的优势在于不依赖外部基础设施,操作者可以在无摄像头的环境中自由移动,且新一代Link套装针对机器人实验室的金属结构与电磁干扰做了专门的补偿算法。其方向输出频率最高可达400 Hz,Link套装的更新率标称为240Hz,足以支撑闭链步态控制和接触密集操作策略的训练需求。
Manus(手部层) 则放弃IMU,改用电磁场(EMF)追踪手指关节。对于手指这种小尺度、多关节、高耦合的运动链,IMU在小角度测量上的信噪比和漂移控制远不如 EMF,而光学手部追踪又受遮挡制约。Manus Metagloves Pro提供25自由度的完整手部姿态追踪,毫米级指尖精度,且无遮挡、无漂移。在Xsens生态中使用的Xsens Metagloves by Manus版本,在TeleOpBench基准中提供每只手20自由度的轴角数据,覆盖MCP、PIP、DIP关节的屈伸与收展。
两套系统的数据在软件层汇合:Xsens MVN负责身体骨骼,Manus Core负责手部骨骼,通过Xsens软件中的MVN模式实现时间同步与坐标对齐,形成一条完整的“人体运动骨架流”。Manus手套可与Xsens的Awinda、Link等多个套装硬件组合使用,集成路径是成熟的。
完整的遥操作栈:五层架构
一套可用的遥操作系统远不止“手套 + 动捕服”。Knoxlabs基于大量部署经验指出,大多数项目失败在中间件层,而非硬件本身。一个工程化的方案应显式划分为以下五层:
人体输入层
Xsens Link(全身 IMU)+ Manus Metagloves(手部 EMF)+ 可选 VR 头显(头部姿态)。这一层决定了整个系统数据质量的上限,但高精度输入不会自动转化为好的机器人控制——下游的重定向与安全层同样关键。
运动处理 / 骨架层
MVN 与 Manus Core分别将原始传感器数据转换为标定后的解剖学骨架,完成传感器融合、漂移校正以及手套与套装之间的时间同步,输出干净的骨骼流。Manus手部数据通过指尖传感器精确记录每根手指的运动,实时流式传输至 MVN 中以匹配全身动捕系统。
重定向层(最关键、最易被低估)
人手的关节角度、节段长度和运动范围与任何机器人都不同。原始手部关节数据不能直接发送给机器人;必须经过动作重定向,将人类骨架映射到目标机器人的运动学结构上,同时施加关节限位、速度限位和奇异点规避等约束。在TeleOpBench的实现中,这一步包括:
坐标系变换:将Xsens全局坐标系下的数据转换到机器人基座坐标系(通常以骨盆为原点,前向为+X,垂直为+Z)。
关节特异性缩放:实时计算并更新缩放参数,补偿人机骨骼长度差异,逐关节调整节段长度后再送入IK。
闭链逆运动学(CLIK):在满足约束的前提下解算机器人关节姿态,保证遥操作的精确性与鲁棒性。
手部重定向则需将Manus的20自由度手指关节角映射到灵巧手的关节角约束空间内,确保不超出机械限位。
机器人控制 / 执行层
接收重定向后的关节指令,在机器人控制器层面执行速度限幅、力矩限幅、碰撞规避和安全监控。ROS 2的控制器框架可以抽象大部分接口,但每个机器人平台仍需独立配置。Xsens Humanoid软件原生支持ROS 2、NVIDIA Isaac Sim 和 MuJoCo,并提供 Linux 接收端,可直接融入现代机器人技术栈。
反馈 / 闭环层
视觉反馈通过VR头显显示机器人相机流是基本配置;触觉反馈则需要Manus Metagloves Pro Haptic这类带振动触觉执行器的型号,在机器人手接触物体时向操作者回传振动信号。没有这一层,操作者“盲飞”,会导致过度抓取、抓取不足或无法感知接触时机,数据质量会显著下降。需要注意的是,振动触觉不等同于完整力反馈,其实际价值仍需通过任务成功率、时延和精度等指标独立验证。
延迟、同步与实测性能
遥操作的可用性高度依赖端到端延迟
环节 延迟 / 性能指标
Xsens Link 全身动捕:约20 ms低延迟流式传输;更新率最高240 Hz(方向输出最高 400Hz)
Manus手套手指信号:< 7.5 ms信号延迟;采样率120 Hz
端到端实测(Xsens + Manus 组合):约35ms,满足工业级实时控制通常要求的 <50 ms 阈值
时间同步手段:PTP协议同步设备时钟、硬件触发对齐、自定义ROS节点时间戳修正
部署中需要正视的工程约束
重定向不是“可选项”。直接转发原始关节角是最常见的错误,轻则机器人截断指令导致动作失真,重则触发控制器故障并中断会话。建议在重定向层显式实现约束投影或安全滤波,而非依赖下游控制器被动限幅。
Manus的封闭固件带来一定平台锁定风险:传感器校准、时间同步和热漂移补偿均固化在固件中,固件升级可能导致API不兼容;手套需要专用USB-C集线器供电与通信。在多设备、长时间运行的部署中,这需要纳入可靠性评估。
XSens的Wi-Fi方案并非最低延迟路径。官方明确建议,遥操作应优先使用Link Bodypack的以太网口硬连线到计算机,以绕过Wi-Fi路由,降低延迟和丢包。无线模式适合数据采集和训练,但在对实时性敏感的遥操作闭环中,硬连线是更稳妥的选择。
实践建议
如果目标是快速建立一条可用的遥操作数据链路,最小可行配置可以概括为:
Xsens Link(以太网硬连线)+ Xsens Metagloves by Manus + Xsens Humanoid Live(ROS 2 输出)+ 一层自定义重定向节点(含坐标变换、关节缩放、限位约束)+ 机器人 ROS 2 控制器 + VR 视觉反馈。
若需要触觉闭环以提升精细操作的数据质量,将手套升级为Metagloves Pro Haptic,并在控制端接入振动触觉事件触发。整个系统的穿戴与校准约15分钟即可就绪,Manus手套的快速校准流程进一步降低了多操作员轮换的门槛。
这套方案的优势在于它已经在多个主流人形机器人平台上经过了统一的、可复现的基准验证,而非停留在单点演示阶段。但它本质上是一个高保真运动输入 + 重定向 + 机器人控制的管线。
关于搜维尔科技
我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Xsens总部签署代理合作协议,成为其在中国大陆地区授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐




所有评论(0)