本文梳理Ego、UMI、遥操作、仿真数据四种主流具身智能数据采集方案,包含定义、核心功能、应用边界,适配数据集采购、对外讲解、项目选型使用。

1、Ego(第一视角无本体采集)

定义:采集设备佩戴在操作者身上,以人的第一视角进行采集,不需要搭载在机器人本体上,也就是咱们一直在做的Ego无本体采集;输出RGB、深度图、IMU、标定参数、统一时间戳多模态数据,可搭配Exo外视角辅助。

核心功能:记录人在真实物理空间里,看到什么、怎么移动、手部和肢体怎么交互,捕捉自然、真实的人类操作行为与场景视觉信息。

应用边界

适合:通用居家、车间、日常场景的自然操作数据;训练机器人理解人怎么跟世界交互;低成本快速积累真实场景多模态数据;适配通用具身大模型。

局限:采集的是人的动作,不是机器人本体动力学数据;人和机器人形态、关节不一样,动作不能直接复刻;无法采集机器人电机、关节力矩信息;复杂机器人专属动作很难采集。

2、UMI(Universal Manipulation Interface,通用操控接口)

定义:穿戴式力控主手/传感手套类采集方案,人戴上传感手套、主控制设备,手部的位置、姿态、握力、手指关节角度全部被高精度记录。

核心功能:精准捕捉精细手部操纵动作,抓取、拧、插拔、按压这类细粒度手部动作,输出高精度手部轨迹、力反馈数据。

应用边界

适合:灵巧手、精细操作任务(拧瓶盖、插接件、分拣小件);训练机器人灵巧抓取策略;手部动作复刻;需要高精度手部轨迹的任务模型。

局限:重点只有手部数据,对环境全局视觉感知偏弱;设备成本高;很难采集大范围移动导航类任务;只聚焦手,不擅长整机移动交互场景。

3、遥操作数据采集

定义:人通过远端控制台、主从控制设备,远程操控真实机器人去完成任务,同步记录机器人端所有传感器、关节、执行器返回的数据。

核心功能:采集机器人本体真实执行全过程数据:机器人相机画面、关节角度、力矩、电机电流、底盘里程、碰撞信息,是人指挥机器人,机器人实打实跑出来的数据。

应用边界

适合:机器人本体动力学、控制策略学习;机器人专属任务(机械臂作业、移动机器人巡检);闭环控制、故障场景;数据和机器人本体动力学完全对齐,落地复用性强。

局限:必须有实体机器人,硬件成本高、采集慢、有损耗;场景布置麻烦,有安全风险;很难大批量快速采集通用多样化场景;采集动作受机器人本身能力限制,机器人做不到的动作就采不到。

4、仿真数据采集

定义:在Unity、Isaac Sim、Webots等虚拟仿真环境里面搭建虚拟场景、虚拟机器人,程序自动生成图像、深度、分割、碰撞、关节轨迹等数据。

核心功能:程序批量自动生成海量数据;可以随意改光照、物体摆放、材质、障碍物;自动打标注,不用人工标;可以生成现实里很难实现的极端场景。

应用边界

适合:做数据扩充、场景泛化;边界案例、故障、极端工况;快速做模型预训练、算法原型验证;大批量低成本补数据。

局限:存在仿真域和真实世界的鸿沟(Sim2Real);仿真里的纹理、反光、摩擦、物体形变和真实世界有差距;只用仿真数据训练的机器人,放到现实里经常失效;缺少真实世界噪声、不规则物理扰动。

5、对比小结

- Ego:看人怎么做,真实场景、低成本,适合理解世界和人类行为

- UMI:看手怎么精细抓握,主打灵巧操作高精度手部轨迹

- 遥操作:看机器人怎么做,数据贴合机器人本体控制,落地性最强

- 仿真:电脑虚拟生成数据,量大便宜,用来扩充、补极端场景

6、配套备注(业务使用)

工程上主流组合方案:Ego真实数据打底 + UMI补充精细手部 + 遥操作做机器人闭环微调 + 仿真扩充样本,混合训练,取长补短板。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐