本篇文章会介绍国家地方共建人形机器人创新中心（下文简称“国地中心”）智能交互团队基于 Mobile ALOHA 系统，针对多样化复杂场景中人形机器人的遥控操作与自主作业展开研究，开发基于 Transformer 的模仿学习训练框架，部署于青龙全尺寸仿人机器人，实现了典型任务的自动化数据生成与作业控制，助力未来机器人项目发展。下面详细介绍 Aloha 项目的复现过程，模型对比，以及我们在此基础上进一步的研究。

项目背景目前大部分基于模仿学习的机器人集中在桌面任务，无法适配未来人形机器人面对的多样化场景。2024年1月，斯坦福开源 Mobile ALOHA 机器人操作系统，通过搭建低成本、用户友好的远程操作平台模拟移动操作任务（需要全身控制的双手操作），提供了更符合机器人的动作训练样本。Mobile ALOHA 收集的大量人类示教数据，后续可被用于监督训练，复刻人类行为。

Mobile ALOHA实验环境

一、项目背景

基于 Transformer 架构的模仿学习策略，在机器人技术中表现出了令人印象深刻的表现。借助联合训练方法，仅通过 10 分钟或 50 次示教，即可直接在现实世界中学习多种精细操控技能。该学习策略可部署于实物样机，指导机器人自主完成复杂的移动操控任务，例如炒一只虾并且装盘，打开柜门整理重型厨具，呼叫电梯并进入，迁移后机器人自主执行成功率高达 80%。此外，对于完整烹饪滑蛋虾仁、颠锅等对于当下机器人较为困难的复杂任务，  Mobile ALOHA 可以通过远程高精度遥操作完成，可被用来收集大量相关数据，训练通用性更好的系统。

针对上述背景，结合人形机器人在多样化复杂任务场景中遥控操作、自主作业的需求，开展本项目研究，完成遥操作系统搭建，打通模仿学习训练流程，同时面向人形机器人进行迁移部署。

二、项目摘要

Working-Arm 是一个基于 Transformer 架构的模仿学习训练框架，旨在训练仿人机器人的智能作业技能。项目基于Mobile ALOHA 开源系统，强调通用机械臂作业任务，支持任意自由度机械臂的示教数据采集、模仿学习训练、推理测试。相对应地，项目提供数据采集、训练、推理，三个代码模块，均设置统一接口，可独立使用。此外，项目面向实物样机部署对软硬件接口进行统一封装，并结合数字虚拟机器人可以实现示教数据采集与对神经网络的快速验证，允许用户使用不同构型机械臂进行示教数据库搭建、基线对比、部署验证等。

团队已将模型迁移至人形机器人青龙并开展了在仿真环境下对示教数据的生成，基于离线专家策略实现了抓取和放置两类典型任务的自动化数据生成。同时，在梳理 Aloha 软件开发过程中还形成了基于 Mojoco 的开源仿真 Demo，可以用于提供给其他高校、团队开展上肢作业控制算法的研究，并支撑未来RobotFarm项目的开展。

三、设备配置

青龙全尺寸通用人形机器人是国地中心自主研发人形机器人，拥有高度仿生的躯干构型和拟人化的运动控制，全身最多达 43 个全身自由度，最大关节峰值扭矩达 396N.m，具备快速行走、敏捷避障、稳健上下坡、抗冲击干扰等运动功能，是通用人工智能的理想载体。青龙全尺寸通用人形机器人强对标生物人功能指标，包括外观（头部、胸腔、手臂、灵巧手、腰部、腿足）、外形尺寸、关节运动范围、机动、感知、交互、作业等。

团队面向人形机器人青龙进行 Aloha 硬件改造，完成在双臂上对相机的部署、图像数据采集与训练数据采集接口开发，便于将模型应用于不同自由度的机器人上。

总体参数：

外形尺寸：2192mm*1850mm*300mm

体重：80kg

载重：≥20kg

主动自由度：43个

行走速度：≥5km/h

作业能力：

（1）单臂自由度 7，工作半径 ≥600mm，肘关节折叠角度可达 170°，末端法兰与末端旋转中心距离 ≤64mm，整臂灵活工作空间大。

（2）单臂平举负载 ≥3kg，最大负载 ≥5kg

（3）双臂搬运负载 ≥10kg

（4）重复定位精度优于 ±0.2mm

（5）直臂状态下，外包络直径 ≤Φ109，整臂具有良好的狭窄空间作业能力

四、总结

让人形机器人学会独立思考与行动使机器人能够自主适应复杂环境，完成多样化任务，减少对人类的依赖，提高效率和安全性。这一能力拓展了机器人的应用场景，从医疗护理到灾难救援，从太空探索到深海作业，机器人可在危险或难以到达的环境中作业，保障人类安全。同时，它推动了人工智能技术的发展，促进了多学科交叉融合，为未来人机协作模式的创新奠定了基础。

OpenLoong开源社区介绍

“OpenLoong”是一个全球领先的综合性人形机器人开源社区。社区秉持着技术驱动和开放透明的价值观，致力于汇聚全球开发者，共同推动人形机器人产业的发展，为全球人形机器人产业赋能。
我们的使命是通过在机器人本体技术、平台软件、具身智能、具身数据集以及上层应用等多个方面做出重大贡献，从而推动整个产业的进步。

注册成为 OpenLoong 开源社区的一员，与机器人研究者和爱好者共同开启人形机器人探索之旅！

注册地址：潜龙在源