【PNP具身分享】一文汇总全球开源具身智能机器人数据集具有全球可用性的高质量、通用性机器人具身智能数据集，FRANKA机器人成为使用广泛平台

人工智能在模型、算力和数据层面蓬勃发展，正逐步从虚拟交互迈向物理实现。随着大模型和机器人技术的进步，具身智能（Embodied AI）赋予了人工智能系统以物理形态，使其能够与环境进行交互和学习。从运动编程到人工遥操作，从机械臂到灵巧手，从硅谷到中国，具身智能已在软硬件层面逐步建立发展范式。

借鉴自动驾驶的发展路径，数据对于具身智能同样至关重要。数据不仅是驱动智能体感知和理解环境的“燃料”，也通过多模态传感器（如视觉、听觉和触觉）帮助构建环境模型并预测变化。这使得智能体能够基于历史数据进行态势感知和预测性维护，从而做出更好的决策。构建高质量、多样化的感知数据集是一项不可或缺的基础性工作。这些数据集不仅为算法训练提供丰富素材，也为评估具身性能提供了基准参考。

PNP机器人始终致力于成为“人工智能行业的具身即插即用（plug&play）机器人合作伙伴”。接下来，让我们一起来看看全球范围内可用的高质量具身智能数据集。

具身智能数据集概览表

具身智能数据集	发布者	演示次数	场景任务	动作技能	采集方法	备注
Open X-Embodiment	Google DeepMind等（21家全球机构）	140万	311种	527种	单臂、双臂、四足等（22种机器人形态）	Franka机器人数据最广
DROID	斯坦福大学等	7.6万	564种	86种	单臂遥操作	只用Franka机器人
RT-1/RT-2	Google DeepMind	13.5万	2种	2种	单臂遥操作	注重单臂
BridgeData V2	UC Berkeley等	6万	24种	13种	单臂遥操作和脚本化动作	注重单臂
RoboSet	卡内基梅隆大学等	9.85万	38种	12种	单臂遥操作和脚本化动作	Franka机器人+2F85夹爪
BC-Z	Robotics at Google	2.6万	1种	12种	单臂遥操作	注重技能
MIME	卡内基梅隆大学	8,260	1种	20种	单臂遥操作	使用7自由度机械臂
ARIO	鹏城实验室等	300万	258种	345种	主从双臂机器人遥操作	多种机器人
RoboMIND	国地中心等	5.5万	279种	36种	单臂、双臂、人形机器人和灵巧手遥操作	FRANKA机器人等为主

Open X-Embodimen

• 发布者：谷歌DeepMind及其他21家全球机构
• 发布日期：2023年10月
• 项目链接：https://robotics-transformer-x.github.io/
• 论文链接：https://arxiv.org/abs/2310.08864
• 数据集链接：https://github.com/google-deepmind/open_x_embodiment
• 描述：Open X-Embodiment是一个开放的、大规模的、标准化的机器人学习数据集，由Google DeepMind与来自21家国际知名机构的34个研究实验室合作创建。它整合了60个现有的机器人数据集。Open X-Embodiment数据集的研究人员将来自不同来源的数据集转换为统一的数据格式，方便用户下载和使用。每个数据集都以一系列“片段”（episoles）的形式呈现，并使用Google制定的RLDS格式进行描述，从而确保了高度的兼容性和易理解性。
• 规模：涵盖22种不同类型的机器人，从单臂机器人到双臂机器人和四足机器人，包括超过100万条机器人演示轨迹、311个场景、527项技能和160,266项任务。

开放X-Embodiment：机器人学习数据集和RT-X模型

• 场景：研究人员使用混合机器人数据训练了两个模型：

1. RT-1，一种高效的基于Transformer的架构，专为机器人控制而设计；
2. RT-2是一个大型视觉语言模型，经过联合微调，可将机器人动作输出为自然语言标记。

两种模型均输出相对于机器人夹爪坐标系的机器人动作。机器人动作是一个七维向量，包含x、y、z、横滚、俯仰、偏航和夹爪张开角度，或这些量的速率。对于机器人未使用某些维度的数据集，训练期间会将相应的维度值设置为零。在混合机器人数据上训练的RT-1模型称为RT-1-X，在混合机器人数据上训练的RT-2模型称为RT-2-X。

在小数据领域，RT-1-X的性能比在单个数据集上训练的RT-1或原始方法高出50%。

在新兴技能评估方面，RT-2-X的性能比RT-2高出三倍。

• 技能：数据集中的常见任务技能包括拣选、移动、推动、放置等。任务目标包括形状、容器、家具、食物、电器、餐具等。

开放式X具身技能分布

• 数据采集​​：就场景分布而言，Franka机器人占据主导地位，其次是Google Robot和xArm。就轨迹分布而言，xArm贡献的轨迹最多，其次是Google Robot、Franka、Kuka、iiwa、Sawyer和WidowX。

FRANKA机器人（咨询热线400 188 3810 ）

DROID

• 出版单位：斯坦福大学、加州大学伯克利分校、丰田研究院等。
• 发布日期：2024年3月
• 项目链接：https://droid-dataset.github.io/
• 论文链接：https://arxiv.org/abs/2403.12945
• 数据集链接：https://droid-dataset.github.io/
• 描述：创建大规模、多样化且高质量的机器人操作数据集是开发更强大、更稳健的机器人操作策略的关键基石。然而，创建此类数据集极具挑战性：在各种环境中收集机器人操作数据会带来后勤和安全方面的挑战，并且需要大量的硬件和人力资源。研究人员推出了DROID（分布式机器人交互数据集），这是一个多样化的机器人操作数据集。研究表明，与利用现有大规模机器人操作数据集的先进方法相比，DROID平均可将策略性能、鲁棒性和泛化能力提高20%。
• 规模：DROID数据集包含1.7TB的数据，包括76,000条机器人演示轨迹，涵盖86项任务和564个场景。

DROID：大规模野外机器人操作数据集

• 场景：该数据集涵盖564个演示场景，包括工业办公室、家庭厨房、工业厨房、办公室、客厅、走廊/壁橱、卧室、餐厅、浴室、洗衣房等等。

Oroid数据集场景分布

• 技能：DROID数据集包含86个动作任务，涵盖更广泛的场景类型，并且与之前的数据集相比，长尾任务分布明显更多。

Oroid数据集技能分布

• 数据采集​​：DROID在所有13个机构均采用相同的硬件配置，以简化数据采集流程，同时最大限度地提高便携性和灵活性。该配置包括一台Franka Panda 7DoF机械臂、两台可调节的Zed 2立体相机、一台腕戴式Zed Mini立体相机以及配备远程操控控制器的Oculus Quest 2头显。所有设备均安装在一个便携式、高度可调的平台上，以便快速切换场景。

机器人数据采集装置

RT-2/RT-1

• 发布者：谷歌DeepMind
• 发布日期：2022年12月
• 项目链接：https://robotics-transformer2.github.io/
• 论文链接：https://robotics-transformer2.github.io/assets/rt2.pdf
• 数据集链接：https://github.com/google-research/robotics_transformer
• 描述：2022年，谷歌DeepMind的研究团队推出了大规模真实世界机器人数据集，以及多任务模型RT-1：机器人Transformer。2023年7月，研究人员提出了RT-2：视觉-语言-动作模型（VLA）。
• 规模：RT-2数据集主要由两大部分组成。第一部分是WebLI视觉语言数据集，包含约100亿个图像-文本对，涵盖109种语言，并筛选出10亿个训练样本。第二部分是来自RT-1等项目的机器人数据集。RT-1使用13个配备7自由度机械臂、双指夹爪和移动底座的EDR机械臂，历时17个月收集了13万个回合。总数据量达到111.06GB。每个回合不仅包含机器人动作的实际记录，还包含相应的人工指令文本标注。

RT-2：视觉-语言-动作模型将网络知识迁移到机器人控制

• 场景与技能：RT-2的场景主要围绕家庭和厨房等环境展开，涉及家具、食物和餐具等物品。技能主要包括常见的操作，例如取放，以及更具挑战性的技能，例如擦拭和组装。任务范围从拿起和放置物品到更复杂的任务，例如打开和关闭抽屉、搬运细长物品、推倒物品、拉动餐巾纸和打开罐头，涵盖超过700种不同的物品。

RT-2场景任务

• 研究意义：RT-2在未见过的场景上的性能比RT-1提高了32%，提升至62%，充分展现了大规模预训练的显著优势。与在纯视觉任务上预训练的基线模型（例如VC-1和用于机器人操作的可重用表征(R3M)）以及使用视觉语言模型(VLM)进行物体识别的算法（例如开放世界物体操作(MOO)）相比，RT-2的性能均有显著提升。RT-2证明，通过将VLM预训练与机器人数据相结合，可以将视觉语言模型(VLM)转化为强大的视觉语言动作(VLA)模型，从而直接控制机器人。

RT-2性能比较

BridgeData V2

• 出版方：加州大学伯克利分校、斯坦福大学、谷歌DeepMind、卡内基梅隆大学
• 发布日期：2023年9月
• 项目链接：https://rail-berkeley.github.io/bridgedata/
• 论文链接：https://arxiv.org/abs/2308.12952
• 数据集链接：https://rail.eecs.berkeley.edu/datasets/bridge_release/data/
• 描述：BridgeData V2是一个庞大且多样化的机器人操作行为数据集，旨在促进可扩展机器人学习的研究。该数据集兼容基于目标图像或自然语言指令的开放词汇多任务学习方法。从该数据集中学习到的技能可以推广到新的物体、环境和机构。
• 规模：BridgeData V2数据集包含60,096条轨迹，其中50,365条是远程操作演示，9,731条是通过脚本化的拾取和放置策略进行的部署。

BridgeData V2：用于大规模机器人学习的数据集

• 场景：BridgeData V2中的24个环境分为4类。大部分数据来自7种不同的玩具厨房组合，包括水槽、炉灶和微波炉。其余环境则来自各种来源，包括不同的桌面、独立玩具水槽、玩具洗衣机等等。

BridgeData V2设置

• 技能：大部分数据来自基本的物体操作任务，例如拾取和放置、推动和清扫；一些数据来自环境操作，例如打开和关闭门和抽屉；还有一些数据来自更复杂的任务，例如堆叠积木、折叠布料和清扫颗粒状介质。

BridgeData V2技能

• 数据采集​​：数据采集使用WidowX250六自由度机械臂，通过VR控制器以5Hz的控制频率进行远程操控。平均轨迹长度为38个时间步。传感设备包括：一台固定在肩部上方的RGB-D相机、两台在数据采集过程中随机摆位的RGB相机，以及一台安装在机械臂腕部的RGB相机。图像保存分辨率为640x480。

RoboSet

• 出版方：卡内基梅隆大学，FAIR-MetaAI
• 发布日期：2023年9月
• 项目链接：https://robopen.github.io/
• 论文链接：https://arxiv.org/pdf/2309.01918.pdf
• 数据集链接：https://robopen.github.io/roboset/
• 描述：RoboSet数据集来自RoboAgent项目，是一个大规模、真实世界、多任务数据集，采集自厨房环境中的一系列日常家务活动。RoboSet包含动觉演示和远程操作演示。该数据集包含多任务活动，每帧画面均有四个不同的摄像机视角，并且每个演示都有不同的场景变化。
• 规模：仅通过7,500条轨迹的训练，它就展示了一个通用的RoboAgent，能够在38项任务中展现12种操作技能，并将其推广到数百种不同的未见过的场景。

RoboAgent：通过语义增强和动作组块实现机器人操作的泛化和效率

• 场景：该数据集主要关注日常厨房活动场景，例如泡茶、烘焙和类似任务。

• 技能：RoboSet涵盖38项任务中的12项操作技能。

• 数据采集​​：数据采集使用配备Robotiq机械臂的Franka-Emika机器人，并通过人机远程操控进行。日常厨房活动被分解为不同的子任务，并在执行这些子任务期间记录相应的机器人数据。

BC-Z

• 出版方：谷歌机器人部门、X（登月工厂）、加州大学伯克利分校、斯坦福大学
• 发布日期：2022年2月
• 项目链接：https://sites.google.com/view/bc-z/
• 论文链接：https://arxiv.org/abs/2202.02005
• 数据集链接：https://www.kaggle.com/datasets/google/bc-z-robot
• 描述：研究人员探索了如何使基于视觉的机器人操作系统能够泛化到新任务，并从模仿学习的角度解决了这一挑战。为此，他们开发了一种交互式且灵活的模仿学习系统，该系统能够从演示和干预中学习，并能根据不同形式的信息传递任务进行训练，包括预训练的自然语言嵌入或人类执行任务的视频。当将真实机器人的数据采集扩展到100多个不同的任务时，研究人员发现该系统能够执行24个未见过的操作任务，平均成功率达到44%，而无需任何机器人演示。
• 规模：包含25,877个不同的操作任务，涵盖100个不同的任务。

BC-Z：基于机器人模仿学习的零样本任务泛化

• 场景：
  • 物体位置的变化；
  • 由于数据采集跨越多个地点，场景背景发生变化；
  • 机器人之间硬件的细微差别；
  • 对象实例的变化；
  • 多个分散注意力的物体；
  • 闭环、仅RGB视觉运动控制，10Hz异步推理，每回合产生超过100个决策（即，对于稀疏强化学习目标来说具有挑战性的长期任务）。

BC-Z场景任务

8.MIME

• 出版单位：卡内基梅隆大学机器人研究所
• 发布日期：2018年10月
• 论文链接：https://arxiv.org/abs/1810.07121
• 描述：在机器人学习和人工智能领域，使机器人能够通过模仿人类行为来学习复杂任务是一个重要的研究方向。传统的学习方法在处理需要多种交互动作的复杂任务时存在局限性。“轻松实现多重交互”（MIME）项目旨在提供大规模的演示数据，以促进机器人的模仿学习。通过收集丰富的人类行为演示，机器人可以学习各种交互动作，从而更好地完成复杂任务。MIME项目通过提供包含多种交互动作的大规模演示数据，填补了机器人模仿学习领域的空白。
• 规模：MIME数据集包含8,260个人类-机器人演示，涵盖20多个不同的机器人任务。这些任务从简单的任务（例如推动物体）到更具挑战性的任务（例如堆叠家用物品）不等，包括人类演示的视频和机器人演示的运动轨迹。

多重交互变得简单（MIME）：大规模演示模仿数据

• 技能：MIME项目率先采用了收集演示数据集的方法。MIME项目包含大量演示数据，为机器人学习提供了丰富的样本。丰富的样本量有助于机器人学习各种场景和动作模式，增强其泛化能力，使其能够更好地处理现实世界中复杂多变的任务。该数据集不仅限于简单的动作，还涵盖了各种交互式动作。例如，在家庭场景中，机器人可以学习一系列连贯的动作，例如拾取物品、放置物品、打开抽屉、关闭抽屉以及将物品放入抽屉。这种多样化的交互式动作数据使机器人能够理解任务的顺序和逻辑关系。

模仿动作技能

• 数据采集​​：本研究使用了一台处于重力补偿运动学模式的Baxter机器人。Baxter是一款双臂机械臂，配备7自由度双指平行夹爪。此外，该机器人头部安装了Kinect体感控制器，手腕处分别安装了两台SoftKinetic DS325摄像头。头部摄像头作为外部摄像头，用于观察桌面上的任务；手腕摄像头则作为机器人的“眼睛”，随机械臂的运动而移动。

机器人演示中的多视角

ARIO

• 出版单位：彭城实验室、南方科技大学、中山大学等。
• 发布日期：2024年8月
• 项目链接：https://imaei.github.io/project_pages/ario/
• 论文链接：https://arxiv.org/abs/2408.10899
• 数据集链接：https://openi.pcl.ac.cn/ARIO/ARIO_Dataset
• 简介：ARIO（一体化机器人）具身智能数据开源联盟由鹏城实验室、AgileX Robotics、中山大学、南方科技大学和香港大学等领先机构联合发起。鹏城实验室具身智能研究所率先设计了一套具身大数据格式标准。这些标准能够记录各种机器人的控制参数，具有清晰的数据组织结构，并兼容不同帧速率的传感器，同时记录相应的时间戳，以满足具身智能模型对感知和控制时序的精确要求。
• 规模：ARIO数据集包含258个场景、321,064个任务和3,033,188条演示轨迹。数据模态涵盖2D图像、3D点云、声音、文本和触觉数据。数据主要来自三个来源：

（1）人类收集的真实世界环境设置和任务；

（2）使用MuJoCo和Habitat等仿真引擎设计的虚拟场景和对象模型，以及由仿真引擎驱动的机器人模型；

（3）分析和处理现有的开源具身数据集，将其转换为符合ARIO格式标准的数据。

一体化机器人：面向多功能通用具身智能体的新标准和统一数据集

• 场景与技能：ARIO的场景涵盖桌面、开放式环境、多房间设置、厨房、家务、走廊等等。技能包括拾取、放置、移动、打开、抓取等。

Ario数据集场景和技能

• 数据采集​​：基于AgileX Cobot Magic主从式双臂机器人平台，我们在真实环境中设置了场景和任务，用于采集人体数据。我们设计了30多个任务，并将其分为简单、中等和困难三个难度级别。为了增加任务的多样性，我们添加了干扰物、随机改变物体和机器人的位置，并调整了设置环境。最终，我们采集了超过3000条轨迹数据，这些数据来自三个RGB-D相机。

Ario技能任务

RoboMIN

• 出版单位：国家地方联合人形机器人创新中心、北京大学、北京人工智能研究院等。
• 发布日期：2024年12月
• 项目链接：https://x-humanoid-robomind.github.io/
• 论文链接：https://arxiv.org/abs/2412.13877
• 数据集链接：https://zitd5je6f7j.feishu.cn/share/base/form/shrcnOF6Ww4BuRWWtxljfs0aQqh
• 描述：RoboMIND数据集通过人机远程操作采集，包含全面的机器人相关信息，例如多视角RGB-D图像、本体感受机器人状态信息、末端执行器细节以及语言任务描述。研究人员不仅发布了55,000条成功的运输轨迹，还记录了5,000条真实世界的故障轨迹。机器人模型可以通过学习这些故障轨迹来探索故障原因，从而通过学习经验提升自身性能。该技术代表了基于人类反馈的强化学习（RLHF），其中人类的监督和反馈引导模型的学习过程，以产生更令人满意和更准确的结果。
• 规模：RoboMIND数据集包含来自四个不同机器人实体的数据，总共55,000条轨迹，涵盖279项任务、61个不同的对象类别和36种操作技能。

RoboMIND：基于多具身智能的机器人操作规范数据基准测试

• 场景：RoboMIND包含来自五种使用场景的60多种对象类型，涵盖大多数日常生活环境：家庭、工业、厨房、办公室和零售。

机器人脑的五大场景

• 技能：所有任务分为六种类型：

1. 关节操作（Artic.M.）：涉及用关节打开、关闭、启动或关闭物体。
2. 协调操作（Coord.M.）：需要机器人双臂之间的协调。
3. 基本操作（基础M.）：包括抓握、握持和放置等基本技能。
4. 对象交互（Obj.Int.）：涉及与多个对象的交互，例如将一个立方体推到另一个立方体上。
5. 精确操作（Precision M.）：当物体难以抓握或目标区域有限时，例如将液体倒入杯子或插入电池，就需​​要进行精确操作。
6. 场景理解（场景U.）：与理解场景的主要挑战有关，例如从右侧关闭上面的抽屉或将四个不同颜色的积木放入相应颜色的盒子中。

Robomind任务分配

• 数据收集：RoboMIND整合了来自不同类型机器人的数据，包括来自Franka Emika Panda单臂机器人的19,222条运动轨迹、来自Tien Kung人形机器人的9,686条运动轨迹、来自AgileX Cobot Magic V2.0双臂机器人的8,030条运动轨迹、来自UR-5e单臂机器人的6,911条运动轨迹以及来自仿真的11,783条运动轨迹。

Robomind数据收集

具身智能发展与硬件趋势

数据集作为具身智能（Embodied AI）的“燃料”和基石，其质量和规模对于推动智能体对环境的感知、理解和决策至关重要。大规模、多模态数据集能显著增强机器人策略的泛化性和鲁棒性，使其能够执行未见过的任务。在机器人本体趋势方面，由于其操作灵活性和通用性，7自由度（7-DOF）的机械臂配置（如 Franka 机器人）被广泛采纳，成为构建通用具身智能系统的主要硬件基础之一，这一点在 DROID 和 RT-1/RT-2 等数据集中均有体现。

FRANKA与数据采集方式

FRANKA系列机器人（如 Franka-Emika PANDA, FR3等版本）因其稳定性和通用性，在国际顶级数据集（如 DROID、Open X-Embodiment）中占据主导地位，是目前使用最广泛的硬件平台之一。此外，为应对复杂任务，数据集的采集方式已从简单抓取放置（PNP，Pick-and-Place）任务扩展为多样化的遥操作（Teleoperation）方法。主要手段包括使用 VR 控制器、触觉设备、踏板进行直观控制，并结合多视角、多模态传感器（如视觉、力、音频）来捕获高精度、接触丰富和长时程的演示轨迹，以提升机器人从人类示教中模仿学习的能力。

文/PNP原创，转载请申请授权

关于 PNP 机器人PNP 机器人由哈工大、多伦多大学及 ABB、UR机器人专家组成，是思灵机器人/Franka Robotics 在中国的官方战略合作伙伴，负责销售、技术支持与生态建设。团队为国内顶尖实验室与机构提供基于 Franka 机器人的模仿学习、强化学习和视觉语言动作方案，推动具身智能的快速落地与规模化研究。

关于 Franka RoboticsFranka Robotics 在 2023 年被 Agile Robots思灵机器人收购后，进入全新的加速发展阶段。其代表产品 Franka Research 3 以高灵敏力控、七轴结构和开放底层接口成为全球具身智能研究的核心平台，被斯坦福、谷歌 DeepMind、清华和北京人形机器人创新中心等广泛采用，成为扩散策略、强化学习和 VLA 研究的首选具身智能平台。与PNP机器人达成金牌战略合作，推动具身智能方向发展和落地。