通过这篇教程，你将掌握机械臂从标定 → 示教 → 录数据集 → 训练ACT模型 → 真机部署的全流程，零基础也能复现ALOHA级别的双臂机器人AI项目。

一、项目成果展示

视频展示了训练后的模仿学习算法——ACT 在 SO-ARM101 上的真机运行效果：机械臂已完全脱离人工操控，由模型直接输出连续动作序列，自主完成精准抓取。

想直接上手训练？请查阅Seeed studio发布的完整开源Wiki教程：双臂 SO-ARM 训练完整指南 | Seeed Studio Wiki

二、通过这个项目你将学到什么？

• 通过这个项目理解主从遥操作模仿学习的核心逻辑与数据采集原理

• 掌握从舵机校准、示教、数据集构建到训练、部署的完整工业级流程

• 学会使用 LeRobot 开源框架训练 ACT（Action Chunking Transformer）策略

• 搭建属于自己的低成本双臂具身AI实验平台，扩展更多任务场景

三、所需硬件Things used in this project

SO-ARM101 Assemble Kit	https://www.seeedstudio.com/SO-ARM-101-Assembled-Kit-Pro-p-6691.html （每个kit包含一个主臂和一个从臂）	×2
USB 相机	https://www.seeedstudio.com/ET-S231-90-USB-Camera-p-6684.html	× 1~2（数量取决于具体训练任务）
PC/NVIDIA 边缘计算模组	https://www.seeedstudio.com/reComputer-Robotics-J4012-with-GMSL-extension-board-p-6537.html	×1

SO-ARM101 是 LeRobot 官方适配的硬件，使用它就省去了很多底层驱动适配的麻烦，拿到手就能直接跑起来。最主要的优势有这几点：

• 拥有完整的主从遥操作架构：开箱即用，无需自行改驱动

• 具备大量社区资源以及规范的模仿学习数据集格式，还有详细教程，零基础可复现

• CAN FD 总线舵机：稳定低延迟，适合高质量同步数据采集

• 完全开源：结构STP文件，硬件BOM表，软件SDK

• 成本优势：相比传统研究级双臂平台，成本大幅降低

四、项目知识点介绍

1. 软件框架-LeRobot

LeRobot 实际上就是把原本零散的各个环节——数据采集、模型训练、策略评估、真机部署——整合成了一套统一接口，不用再自己写底层代码。它本质上是一个 Python 库，pip 安装后直接用命令行或几行 Python 代码完成大部分操作，对不想折腾底层工程的人比较友好。

LeRobot 主要由这几个模块组成：

• Datasets（数据集模块）：定义了标准化的数据格式，每条数据包含多相机图像、关节状态、动作指令等，自动处理时间戳对齐和数据增强

• Policies（策略模型）：内置了 ACT、Diffusion Policy、TDMPC 等主流算法，在配置文件里指定算法名就能直接训练，不用自己搭网络结构

• Trainer（训练器）：封装了训练循环、学习率调度、断点续训、TensorBoard 日志等，简单改改参数就能适应不同任务。

• Envs（环境接口）：统一了真机和仿真的控制接口，同一个训练好的模型可以直接在仿真和真实机械臂之间切换运行

• Scripts（工具脚本）：从遥操作录数据、训练、导出模型到真机 rollout，每一步都有现成的命令行脚本

1. 模仿学习算法——ACT（Action Chunking with Transformers）

模仿学习的流程其实很清晰：人类示教 → 数据采集 → 模型训练 → 自主执行。而在桌面机器人领域，ACT 是目前表现最好的策略架构之一。

ACT 由斯坦福大学提出，和 ALOHA 遥操作系统一起诞生。它的核心思路叫"动作分块"，传统方法一帧一帧地预测动作，容易累计错误，越错越偏；而 ACT 一次性预测未来 K 个时间步的连续动作序列（即一个 "动作块"），将任务的有效决策步长缩短 K 倍，有效缓解了单步预测中误差累积导致的任务失败问题。

ACT 的主要优势体现在三个方面：一是动作平滑性，通过序列预测避免了逐帧决策导致的动作抖动；二是鲁棒性强，动作分块机制显著降低了误差累积效应，在长程复杂任务中表现更稳定；三是多模态建模能力，CVAE 结构使策略能够学习并生成多种合理的执行方式。作为 LeRobot 等主流机器人学习框架的标配算法，ACT 已在物体抓取、零件装配、衣物整理等大量精细操作任务中得到验证。

六、完整实操流程：6步跑通双臂模仿学习

按照 Wiki 复现遥操作：

完整Wiki教程，内附视频教程：双臂 SO-ARM 训练完整指南 | Seeed Studio Wiki

Step 0 前置准备：安装 LeRobot 环境

以下图片均为wiki截图，首先要安装相关依赖，教程分别展示了在Jetson或Ubuntu中使用的安装命令，详细示范了每一个功能包的安装。

Step 1 机械臂标定

四个机械臂分别进行关节零位校准，这一步是为了确定机械臂每个关节的零点、方向和运动范围。

Step 2 主从遥操作

标定完成后，就可以开始控制 Leader，让Follower 跟着动。不带摄像头的 Teleoperation 主要是验证“机器人能不能被正确控制”；带摄像头的 Teleoperation 则是在此基础上，同时采集“视觉 + 动作”数据，为后面的模仿学习训练提供输入。

Step 3 数据集录制与管理

让人通过 Leader 示范任务，同时把Follower “看到的环境”和“当时采取的动作”同步记录下来，就形成了可以让 ACT 学习的示教数据。教程中的记录了50组数据（num_episodes=50）；此外还说明了如何把数据集上传到 Hugging Face Hub、断点续录、 回放与删除episode等操作。

Step 4 ACT策略训练

接下来就到了振奋人心的训练时刻，LeRobot一键训练命令、超参数简易调优、训练过程可视化。

Step 5 真机部署运行

训练完毕后就可以保存训练好的模型、复现训练任务、rollout效果测试与迭代优化。教程同样介绍了本地保存和上传Huggingface两种方法。

七、常见问题解答（FAQ）

Q1: 训练LeRobot ACT模型需要GPU吗？

推荐使用NVIDIA GPU（至少8GB显存）以获得合理的训练速度。CPU也能运行但训练会非常慢。Wiki中提供了详细的硬件配置建议。

Q2: SO-ARM101完全兼容ALOHA算法吗？

是的。SO-ARM101双臂套件专为ALOHA式主从遥操作设计，原生支持LeRobot框架中的ACT和ALOHA相关算法，无需额外适配。

Q3: 零基础初学者能学会模仿学习吗？

完全可以。本教程和Wiki从硬件接线开始，每一步都有详细说明。只要有基础的Linux命令行使用经验，就能按步骤复现完整流程。

Q4: 搭建一套双臂模仿学习平台需要多少成本？

SO-ARM101双臂套件由3D打印零件构成，成本极低，是学生和创客的理想选择。

Q5: 训练ACT模型需要多少条示范数据？

简单抓取任务通常25-50条示范就能得到不错效果。

Q6: 支持哪些相机？对相机有什么要求？

支持主流USB相机，本文中列出了经过验证的兼容相机链接。

Q7: 除了LeRobot，SO-ARM101还支持其他机器人学习框架吗？

SO-ARM101提供标准ROS/ROS2接口和Python SDK，可灵活接入Diffusion Policy、VLA等其他主流机器人学习框架。

Q8: 训练一个ACT模型需要多长时间？

在中等配置GPU上，50条数据的简单任务通常训练1-2小时即可收敛。

Q9: 双臂机器人能学习哪些任务？

抓取、搬运、装配、整理、倒水等双手协作任务都可以通过模仿学习实现，可扩展到各种桌面操作场景。

Q10: 需要编程基础吗？

会基础的Python和Linux命令行知识即可。此外Seeed Studio还提供了No-Code训练平台——SenseCraft，提供UI界面帮助不会代码的小白顺利完成训练，下面也提供了视频使用教程：https://www.bilibili.com/video/BV1mdGR6iENB/?spm_id_from=333.1387.search.video_card.click&vd_source=0b49ec80e6b35985d5471af159a54151

九、相关资料与延伸阅读

• 入门Lerobot教程：基于 LeRobot 的 SO-ARM100 / SO-ARM101 机械臂入门教程

• GitHub仓库: https://github.com/Seeed-Projects/lerobot

• LeRobot ACT模型原理讲解：https://huggingface.tw/docs/lerobot/act#act-action-chunking-with-transformers

• SO-ARM101 搭载灵巧手教程：https://wiki.seeedstudio.com/cn/soarm_amazinghand_teleop/