• 作者：Hua Ye, Zhiqiang Wang, Hao Zheng, Yunshuang Nie, Wenjun Xu Qingwei Wang, Liang Lin, Feng Zheng, Xiaodan Liang, Zhe Li, Kaidong Zhang, Jinrui Zhang, Xuewen Cheng, Wanxi Dong, Chang Cai, Tingting Shen, Zhen Luo, Fangjing Wang, Zesheng Yang, Luyang Xie, Liang Xu, Yi Yan, Yixuan Yang, Jingnan Luo, Tongsheng Ding, Ziwei Chen, Guoyu Xiong, Xi Jiang, Tiantian Geng, Zhenhong Guo, Xue Jiang, Zhengyu Lin, Ziling Liu, Junfan Lin, Qingyong Jia, Yazhan Zhang, Jichang Li, Bingyi Xia, Jingyi Liu, Shiwei Zhang, Yun Pei, Yao Xiao

• 单位：鹏城实验室多智能体与具身智能研究所，南方科技大学，中山大学

• 论文标题：All Robots in One: A New Standard and Unified Dataset for Versatile, General-Purpose Embodied Agents

• 论文链接：https://arxiv.org/pdf/2408.10899

• 项目主页：https://imaei.github.io/project_pages/ario/

• 数据集：https://openi.pcl.ac.cn/ARIO/ARIO_Dataset

主要贡献

• 统一的数据标准：提出了一个新的数据标准（ARIO），旨在通过提供统一的数据格式和综合的感官模态来优化现有的数据集。

• 大规模的多模态数据集：构建了一个大规模的统一数据集，包含大约3百万个片段，涵盖多种机器人形态和任务，支持五种感官模态（图像、3D视觉、声音、文本和触觉）。

• 时间戳对齐的数据处理：基于时间戳进行数据记录和同步，以适应不同传感器的帧率，确保了数据的准确性和一致性，支持多模态数据的有效整合。

• 模拟与真实数据的整合：数据集结合了模拟和真实世界的数据，增强了跨不同硬件平台的泛化能力，有助于研究模拟到现实的转换。

研究背景

研究问题

使用现有数据集开发具身AI智能体时面临缺乏标准化的格式、数据多样性不足以及数据量不足等问题。

论文通过引入新的数据标准（ARIO）和构建大规模的统一数据集，旨在推动通用、多功能的具身AI智能体的开发和应用，使其能够在更复杂和多样的环境中进行导航和交互。

研究难点

该问题的研究难点包括：

• 多模态数据的整合、

• 跨平台数据的不兼容性、

• 模拟与现实数据之间的差距等。

相关工作

• 大规模机器人学习数据集

  • 为了满足机器人社区对大规模、多样化数据集的需求，已经开发了许多数据集，主要集中在机器人操作任务上，如抓取、推动和物体交互等。

  • 这些数据集（如RoboNet、RT-1和BC-Z）通过聚合不同机器人设置和环境中的操作数据，做出了重要贡献。

  • 然而，这些数据集通常在任务多样性和感官数据丰富性方面存在局限性，主要侧重于视觉数据，而忽略了触觉、听觉或本体感觉等其他模态。

• 多形态和跨平台学习

  • 跨越不同的机器人平台传递知识仍然是一个挑战。研究表明，通过共享动作表示和分离机器人和环境特征，可以在不同平台上实现知识的正迁移。

  • 然而，现有的数据集（如Open X-Embodiment）往往缺乏标准化格式，这使得数据处理和跨平台利用变得复杂。

  • 论文指出，标准化数据格式和结合模拟与真实世界数据是实现通用机器人系统的关键。

• 多模态学习和感官整合

  • 多模态数据的整合对于执行复杂的接触丰富的操作任务至关重要。

  • 尽管传统数据集主要关注视觉输入，但最近的研究开始引入其他感官数据，如触觉反馈。例如，ManiWAV数据集引入了音频反馈作为检测接触事件的新模态，展示了声学传感在机器人学习中的潜力。

  • 通过整合多种感官模态，论文强调了多模态数据集在实现更复杂和鲁棒的机器人感知和控制中的重要性。

• 语言引导的机器人学习

  • 语言引导的学习正在成为扩展机器人技能获取的一种强大方法。这种方法利用大模型（LLMs）来指导数据收集和任务执行。

  • 人类标注在这一过程中扮演着重要角色，提供动作标签和自然语言描述。

  • 论文指出，尽管语言引导学习在可扩展性方面仍面临挑战，但通过提供标准化、多模态的数据集，可以支持在多样化和复杂的具身任务中进行语言引导的学习。

ARIO: All Robots In One

ARIO标准

• 标准化框架

  • ARIO标准是一个框架，用于标准化具身AI数据在不同环境和任务中的收集、存储和分析。

  • 其模块化设计支持可扩展的机器人基础模型设计和有效的算法测试。

• 层次化数据结构

  • ARIO将数据组织成四个主要层次：集合（collection）、系列（series）、任务（task）和片段（episode）。

  • 一个集合包含多个系列，每个系列对应特定的场景和机器人类型；一个系列包含多个任务，每个任务由自然语言指令描述；任务被细分为片段，每个片段捕获单次执行的所有数据，包括所有观察和控制数据，并通过统一的时间戳进行同步。

• 数据收集协议：ARIO要求收集广泛的环境和动作数据。每次数据采集会话记录基本模态（如文本指令和图像）以及特定任务的模态（如终端执行器状态或导航数据）。

• 元数据和文档

  • 每个系列的元数据通过information.yaml文件提供，详细描述了涉及的场景、机器人和传感器，以确保与相应片段中的数据对齐。

  • 任务特定的元数据包含在description.yaml文件中，概述了每个任务的详细指令和所需技能。

• 标准化和完整性

  • ARIO强调标准化的数据格式和细致的数据收集协议，以确保数据的完整性和可用性。

  • 这种标准化支持直接的数据集成和分析，对于开发适应性强且可扩展的机器人智能体至关重要。

为什么是ARIO

• 多样化机器人形态

  • 具身AI数据的一个主要特点是机器人形态的多样性，包括单臂、双臂、仿人机器人和轮式机器人等。

  • 每种形态都需要独特的控制和运动数据格式，从关节角度到绝对位置不等。目前没有一种通用的数据格式能够适用于所有这些不同的形态。

• 时间数据需求

  • 数据帧需要理想地按时间戳进行标记，以便正确地序列化感官输入和控制输出。传感器帧率和机器人动作频率的变化增加了复杂性。

  • 当合并来自不同来源的数据集时，每个数据集都有其独特的数据存储惯例，这大大增加了数据处理和利用的难度。

• 现有数据集的不足

  • 现有数据集在感官模态方面不够丰富，缺乏同时包含图像、3D结构、文本、触觉和听觉输入的数据集。

  • 缺乏标准化，使得数据处理和利用变得复杂。

  • 不同平台之间的不兼容性，难以统一控制各种机器人形态。

  • 模拟和现实之间的差距，缺乏同时包含模拟和真实数据的集成数据集。

• 数据收集的挑战

  • 具身AI数据需要机器人在专门设计的环境或通过复杂的模拟中执行任务，这需要大量的时间、成本和计算资源。收集数百万个数据点是一个巨大的挑战。

• 数据集的整合需求

  • 尽管像Open X Embodiment这样的协作项目试图将来自不同来源的数据集整合到一个平台上，但这些数据集通常缺乏统一的格式，使得数据处理和利用变得繁琐。

构建ARIO数据集

设计要求

• 多种感官模态：ARIO数据集支持五种感官模态：2D图像、3D视觉、声音、文本和触觉。这种多模态支持旨在提供更丰富和多样化的数据，以增强机器人的感知和交互能力。

• 多模态数据的时间对齐：ARIO支持基于时间戳的记录和命名机制，以确保多模态数据的同步。具体来说，相机数据以30Hz的频率记录，激光雷达（lidar）数据以10Hz记录，本体感觉（proprioception）数据以200Hz记录，触觉数据以100Hz记录。

• 统一的数据架构：数据集采用场景-任务-片段的层次结构，每个场景和任务都有详细的文本描述。这种结构化的数据组织方式有助于系统地记录和分析数据。

• 统一的配置： ARIO通过配置文件以统一格式指定数据内容，支持多种机器人形态（如单臂、双臂、仿人、四足、移动机器人）和不同的控制动作（如位置、方向、速度、扭矩等）。这种灵活的配置方式使得数据集能够适应不同类型的机器人和控制需求。

• 数据多样性：ARIO具备丰富的数据资源：1）整合了来自模拟环境和真实世界场景的数据；2）涵盖了广泛的具身任务，包括一系列机器人操作和导航任务；3）覆盖了多种机器人形态和环境，具有高泛化性；4）预处理了大量的开源数据集，标准化格式以确保无缝集成和使用。

从真实世界场景中收集数据

• 数据收集平台：

  • Cobot Magic：双臂移动操作平台，具有一个移动基座（AgileX Tracer AGV），速度可达1.6米/秒。平台配备有四个轻量级的6自由度机械臂，能够进行精确的操作和力控制。平台上安装了三个RGB-D摄像头，用于提供任务的视觉观察。

  • Cloud Ginger XR-1：5G支持的轮式仿人机器人，具有超过40个智能关节，能够执行复杂的操作任务。机器人配备了七个自由度的灵巧手，能够进行高精度的抓取和操作。

• 数据收集过程：

  • 数据收集通过志愿者远程操作或人类演示完成。志愿者在完成任务前会收到详细的任务描述和初始条件，并在完成后对任务难度进行分类。

  • 对于每个任务，通常会收集多个片段（例如，每个任务50个片段），并且初始和最终条件可能会在不同的片段中变化。

• 任务设计：

  • 设计了多种任务，涵盖桌面操作、双臂协作、精细操作、接触丰富的任务、人机协作任务以及可变形物体的操作等。

  • 例如，任务包括拿起物品、放置物品、拧开瓶盖、插入插头、写字等。

• 数据处理：

  • 收集的数据需要经过后处理以符合ARIO标准。这包括数据清洗、时间戳对齐和格式转换等步骤，以确保数据的一致性和可用性。

从模拟平台生成数据

• 模拟平台：

  • 数据集的模拟数据来自三个主要的模拟平台：Habitat、MuJoCo和SeaWave。这些平台用于生成不同类型的任务数据，以增强数据集的多样性和复杂性。

• Habitat平台对象导航任务：

  • 使用Habitat-Matterport 3D (HM3D) 场景数据集和Habitat Challenge 2022的对象导航任务数据集。Habitat是一个用于具身AI研究的平台，能够在高效的3D模拟中进行训练。

  • 通过HM3D数据集，收集了6种目标类别的导航任务，每个任务关联一个目标类别。使用Habitat API进行导航任务的轨迹收集。

• MuJoCo平台操作任务：

  • 基于Scaling Up and Distilling Down框架，利用MuJoCo物理模拟器生成操作任务。

  • 设计了三个任务：抓取物体、将物体放入篮子和打开抽屉。通过随机放置目标和引入干扰物体来增加任务的复杂性，并记录中间状态数据。

• SeaWave平台操作任务：

  • 将SeaWave基准数据转换为ARIO格式。SeaWave是一个基于UE5的模拟器，用于评估机器人理解和执行自然语言指令的能力。

  • 任务分为四个复杂度级别，从简单的命令到需要抽象自然语言指令的复杂场景。

  • 通过转换SeaWave数据，增加了数据集在自然语言理解和操作任务方面的多样性。

从开源数据集中转换数据

• 数据集转换的目标：

  • 目标是将现有的开源数据集（如Open X-Embodiment、RH20T和ManiWav）转换为符合新提出的ARIO标准的数据格式。

  • 这样做是为了克服现有数据集在格式不统一、数据处理复杂等方面的不足。

• Open X-Embodiment数据集转换：

  • Open X-Embodiment是一个大规模的开源数据集，包含来自多个机构的数据。

  • 由于该数据集缺乏统一和清晰的数据格式，开发了一个转换工具，将其复杂和多样的数据转换为ARIO格式。

  • 在转换过程中，保留了尽可能多的原始数据，同时去除了无关或不可用的数据。

• RH20T数据集转换：

  • RH20T数据集是从真实世界的远程操作任务中编译的，涵盖了多种设置。

  • 数据集记录了丰富的运动数据，包括关节角度、力和夹爪状态。开发了一个转换程序，将这些数据转换为ARIO格式。

  • 在转换过程中，尽量保留了原始数据的完整性，排除了那些任务描述缺失的片段。

• ManiWav数据集转换：

  • ManiWav数据集专注于研究声音对机器人任务成功率的影响，是唯一包含听觉数据的数据集。

  • 数据集记录了四种任务：擦白板、翻转百吉饼、倒骰子和用胶带固定电线。

  • 开发了一个转换脚本，将这些数据转换为ARIO格式，并为每个任务添加了文本描述以增强清晰度和实用性。

数据统计

• 数据集规模：

  • ARIO数据集总共收集了258个系列、321,064个任务和3,033,188个片段。

  • 这些数据来自多个数据源，包括从开源数据集的转换、真实世界场景的收集以及模拟平台的生成。

• 场景统计：

  • 数据集的场景分布主要集中在室内环境，如桌子、厨房、家庭和多房间设置。

  • 具体来说，数据集包含165个系列来自桌面场景和213个系列来自室内场景。

  • 这些场景提供了大量的任务指令和大规模数据，支持具身智能体的开发。

• 技能统计：

  • 数据集涵盖了广泛的技能，包括机器人操作和导航所需的多种技能。

  • 每个技能在数据集中都有多样化的场景和任务，有助于提升智能体的泛化能力。

• 数据源统计：

  • 数据集的数据来源包括模拟、转换和真实世界数据。

  • 具体的数据统计显示了模拟、转换和真实世界数据的比例，强调了数据集的多样性和适用性。

• 机器人参数统计：

  • 数据集统计了各种机器人相关参数，包括机器人形态（如单臂、AGV、轮式、双臂、仿人机器人）、机器人运动对象（如末端、关节、基座）、机器人物理变量（如旋转角度、位置、速度、力和力矩）以及传感器类型和位置等。

  • 这些统计结果展示了数据集在机器人参数方面的广泛覆盖。

未来工作展望

• 评估ARIO在大规模模型训练中的效果

  • 未来的一个关键步骤是利用现有的开源模型或开发专门的架构，评估ARIO数据集在训练大规模具身AI模型中的有效性。

  • 这将揭示ARIO在增强具身AI智能体的泛化能力和鲁棒性方面的潜力。

• 扩展数据多样性

  • 进一步丰富ARIO数据集是推进具身AI研究的重要方向。

  • 包括扩展数据集以包含更丰富的感官模态（如触觉数据、音频信号和点云），以及聚焦于在模拟和真实世界环境中收集相同机器人的数据。

  • 这将有助于开发能够更全面和细致地感知和交互世界的智能体。

• 扩展具身AI数据的规模

  • 为了真正释放具身AI的潜力，需要生成反映现实世界复杂性的海量数据集。

  • 这可以通过构建大规模的模拟环境来实现，这些环境可以包含多种机器人，每个机器人执行不同的任务。

  • 此外，关注多机器人交互的场景也是一个重要方向，这将允许开发能够协作和协调动作的AI智能体，从而推动更复杂和先进的具身AI系统的发展。

总结

论文提出的ARIO标准和新数据集显著改善了具身AI数据集的不足，提供了更丰富、更多样化和更大规模的数据。

通过提供统一的数据格式和标准化的数据处理流程，ARIO为开发更强大、更通用的具身AI智能体铺平了道路。

未来的研究方向包括评估ARIO在大规模模型训练中的有效性、扩展数据多样性和扩展具身AI数据集。