来源:具身人工智能

添加小助理:lt_laozhang,备注:企业+方向,拉你入具身智能交流群。

本文内容转自具身智能领域垂直公号:具身人工智能,更多内容搜一搜加入!

具身智能想要真正走进现实家庭与工厂,最大的卡点从来不是大模型算法本身,而是物理交互数据的严重短缺。

据中国信通院预测,具身智能基础模型要迎来“ChatGPT”时刻至少需要数千万小时高质量真实数据数据,而前全球可用的数据仅为数十万至百万小时级,缺口超过99%。

有如此巨大的数据缺口,该如何进行突破?

四条主流的数据采集路径逐渐浮出,它们分别是:真机遥操作数采、无本体数采、仿真合成数据、互联网视频蒸馏。

1. 真机遥操作数采:行业公认的 “黄金数据”

所谓真机遥操作数采,通俗来讲,就是由操作人员通过主手控制器、VR等设备,远程操控真实机器人完成各类实操任务。在运行过程中完整记录机器人视觉画面、关节运动、力矩触觉以及人的临场纠错行为。

优势:数据来自真实物理世界,重力、摩擦、物体形变全部客观真实,采集得到的数据,训练完成之后可以直接迁移,落地偏差小。同时它还可以作为基准真值,用来校准另外几条技术路线的数据质量。

劣势也十分突出:首先是重资产,投入门槛很高。机器人硬件、操作工位、场地以及专业操作人员,都会导致成本居高不下。其次数据高度绑定机器人构型,一套机器人采集的数据,很难直接复用。

国内外代表玩家

智元机器人:搭建大规模遥操作数采集群,积累家务场景实操数据;

帕西尼感知科技:打造数采工厂,主打带触觉信息的真机交互数据;

优必选、银河通用也都把真机遥操作作为关键微调数据源。

FigureAI:搭建遥操作工厂,聚焦工业作业场景;

1XTechnologies:以遥操作数据作为人形机器人训练底座;

波士顿动力:利用真机遥操作获取高难度动态交互样本。

2. 无本体数采:不用机器人,人来示范动作

无本体数采,也就是业内常说的UMI穿戴采集方案。不需要机器人本体,工作人员佩戴头戴相机、动捕手套、惯性动捕设备,直接在现实环境完成各类操作,记录下视觉与运动轨迹,再通过算法重定向,转化为机器人可以学习的动作序列。

优势:设备轻量化,采集成本大幅下降,产出的是真实世界人类行为数据,不存在仿真带来的物理失真问题,非常适合用来做大模型预训练。

劣势:因为缺少机器人本体参与,动作重定向过程中容易出现畸变,行业一般都会搭配少量真机数据做校准微调。

国内外代表玩家

觅蜂科技:国内无本体采集赛道代表性方案,落地居家、工业等多场景;

简智机器人:深耕UMI高保真采集;

青瞳视觉:提供光学动捕硬件方案;

深朴智能:聚焦高保真UMI采集引擎。

海外斯坦福团队,核心做法是用代理夹爪记录人的操作动作;TelekinesisAI则采取穿戴采集硬件,聚焦灵巧手操作场景的数据产出。

3. 仿真合成数据:虚拟世界批量生成交互样本

仿真合成数据的逻辑,是借助物理仿真引擎搭建虚拟场景,把各类物体、机器人数字模型完成重建。通过程序自动运行任务流程,批量生成大量交互样本。

优势:仿真不受现实物理条件束缚,绝大多数场景都能在虚拟环境低成本复现。仿真产出的数据自带完整标注,拿来做模型对比、效果测试十分便捷。

劣势:最大痛点就是Sim‑to‑Real仿真现实鸿沟。物理仿真引擎很难完整复刻现实细节。行业普遍做法,是海量仿真数据搭配一小部分真实数据做对齐。

国内外代表玩家

光轮智能:行业龙头,直接面向行业输出完整的仿真数据集产品;

跨维智能:重心在精密装配场景,开发生成式仿真能力;

银河通用:在布料、软体物件这类柔性物体仿真上沉淀了不少工程经验。

海外方面,英伟达Isaac Sim是全球机器人团队使用率很高的工业仿真工具;DeepMind和Meta也都放出过机器人研发专用的开源仿真框架。

4. 互联网视频蒸馏:从网络公开视频里萃取行为经验

互联网视频蒸馏,简单理解就是搜集网上大量第一人称实拍片段,再借助视觉大模型做反向解析,梳理出人类处理任务的行为习惯,给到具身模型去学习。

优势:互联网沉淀下来的视频素材数量巨大,获取成本相对低廉。

劣势:所有关键信息都需要依靠模型逆向推算,严重缺失机器人关节角度、力矩这类物理真实参数,生成的结果掺杂偏差和噪声。

因为价格优势,资源易得,大部分人形整机厂商,都会把视频蒸馏纳入自身预训练的数据体系。但不会使用其独立支撑真机执行。

银河通用机器人创始人及首席技术官王鹤曾坦言:具身智能目前难以复制自动驾驶的自动数据回流模式,目前主要依赖人工采集机器人数据。

因此,他认为大规模合成仿真数据是弥补真实数据不足、实现突破的关键。未来当人形机器人像汽车一样普及且数据采集成本足够低时,真实数据的重要性将重新凸显。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐