一些内容也可以参考ACT----斯坦福具身智能入门梳理

重点：

我们将 ACT 以条件变分自编码器（CVAE）形式进行训练，模型包含编码器与解码器两部分。左侧：CVAE 编码器将动作序列与关节观测信息压缩为隐风格变量 z，模型推理阶段不再使用编码器。右侧：ACT 解码器（即策略网络）通过 Transformer 编码器融合多视角图像、关节位置与隐变量 z，再经由 Transformer 解码器输出预测动作序列。测试时，隐变量 z 直接取先验分布均值（即零向量）。

左半部分：仅在训练阶段使用，推理时丢弃。核心输入三类包括CLS聚合标记，机器人关节状态joints。其中动作序列是人类遥操作采集的标签数据，关节状态是机器人的实时观测信息，位置编码用于给序列标注时序位置，让 Transformer 捕捉动作的先后顺序。

右半部分：模型输入覆盖视觉、本体状态、风格隐变量三类信息，对应 ALOHA 硬件系统的采集数据：第一阶段为多模态输入和特征提取。第二阶段Transformer 编码器（跨模态全局特征融合）。第三阶段为Transformer 解码器（动作序列生成）

图1.ALOHA：面向双臂遥操作的低成本开源硬件系统。整个系统成本为2万美元，配备现成机器人和3D打印组件。左侧：操作人员通过反向驱动主端机器人进行遥操作，从端机器人同步复刻运动轨迹。右侧：ALOHA 可完成高精度、高接触交互、动态复杂操作任务。本文同时展示遥操作技能与模型学习习得技能案例。

Abatract

像穿扎带或插入电池这类精细操作任务，对机器人来说向来极具挑战性。因为它们需要精确操作、接触力的精确协调以及闭环视觉反馈。执行这些任务通常需要高端机器人、精确传感器或精密校准，这些设备既昂贵又难以设置。能否让低成本且不精确的硬件能够完成这些精细的操作任务？本文提出了一套低成本系统，可直接利用自定义遥操作接口收集的真实演示数据，端到端地执行模仿学习。然而，模仿学习也面临自身挑战，尤其是在高精度领域：策略错误可能随着时间累积，人类演示也可能非平稳。为应对这些挑战，我们开发了一种简单但新颖的算法—— 基于 Transformer 的动作分块（Action Chunking with Transformers, ACT），该算法能够学习动作序列上的生成模型。ACT允许机器人在仅10分钟的演示中学习6个困难任务，比如打开半透明调味品杯和插入电池，成功率为80-90%。

1.介绍

精细操作任务依赖高精度闭环反馈，需要机器人具备极强的手眼协调能力，从而根据环境变化实时调整动作、重新规划轨迹。此类操作任务的例子包括打开调味杯盖或安装电池，这些操作涉及精细的操作，如捏合、撬开和撕裂，而非像挑选和放置这样的大动作。以图 1 中打开调料杯盖为例：杯子初始竖直放置在桌面，右侧夹爪需要先将杯子放倒，再推送至左侧张开的夹爪内；然后左侧的夹爪轻轻合上，将杯子从桌上抬起。接着，右手一根手指从下方靠近杯子，撬开杯盖。每一步都需要高精度、细腻的手眼协调和丰富的接触。误差的毫米级就会导致任务失败。

现在的精细操作系统使用昂贵的机器人和高端传感器进行精确状态估计。在本研究中，我们致力于开发一种低成本的精细操作系统，相比之下，这种系统易于获取且可重复。然而，低成本硬件的精度必然低于高端平台，这使得传感和规划的挑战更加突出。利用深度学习方法是极具潜力的解决思路。人类也没有工业级的本体感觉[71]，但我们仍能通过闭环视觉反馈学习并主动补偿错误来完成精细任务。因此本文搭建端到端策略模型，将普通网络摄像头采集的 RGB 图像直接映射为机器人动作。这种像素到动作的范式格外适配精细操作场景：精细操作对象往往具备复杂物理特性，直接学习操作策略，远比建模完整环境动力学更加简便。以调料杯开盖任务为例：建模杯子受推力碰撞的接触力学、撬动杯盖时的形变规律，涉及大量自由度的复杂物理过程。想要搭建精度足够用于规划的物理模型，需要大量科研攻关与针对性工程调试。与之相比，杯子推移、开盖策略逻辑更为简单 —— 闭环策略可以实时响应杯体、杯盖的位置变化，无需提前精准预判物体运动轨迹。

然而，端到端策略训练本身也存在诸多难点。策略性能高度依赖训练数据分布。在精细操作的情况下，高质量的人工演示能通过让系统从人类灵巧操作经验中学习，提供巨大价值。因此，我们构建了一个低成本但灵活的远程操作系统用于数据收集，以及一种能够有效从演示中学习的新型模仿学习算法。我们将在接下来的两段中概述每个组成部分。

遥操作系统。我们采用两套低成本、市面通用机械臂搭建遥操作平台。两套臂体运动尺度相互匹配，并采用关节空间映射方式实现遥操作。我们通过3D打印组件补充这一配置，让机器人更易反向随动操控，整套系统预算不超过 2 万美元，即可实现高性能遥操作。如图 1 所示，该系统可完成多种高难度任务：穿扎带这类高精度精细操作、颠乒乓球这类动态运动任务，以及多接触交互复杂操作任务。

模仿学习算法。需要精确和视觉反馈的任务，即使有高质量的演示，也对模仿学习构成了重大挑战。预测动作中的小误差可能导致状态差异巨大，加剧模仿学习中的“误差累计”问题。为此，我们从心理学中的“动作分块”（action chunking）中汲取灵感，该概念描述了一系列动作如何被分组为一个整体，并作为一个整体执行。在本文方法中，策略不再逐帧预测单步动作，而是一次性预测未来 k 个时间步的目标关节位置。这种方式将任务有效决策步长缩短 k 倍，大幅缓解误差累积效应。预测整段动作序列，还能解决时序相关干扰问题，例如人类演示中难以用马尔可夫单步策略建模的停顿行为。为了进一步提升策略的平滑性，我们提出时序集成策略，更频繁地查询策略，并对重叠的动作块输出结果做均值平滑处理。我们使用擅长序列建模的 Transformer 网络实现动作分块策略，并以条件变分自编码器（CVAE）形式训练，以此拟合人类操作数据的多样性分布。我们将该方法命名为基于 Transformer 的动作分块算法（ACT）。实验证明，在多款仿真与真实世界精细操作任务中，ACT 性能显著优于传统模仿学习算法。

本文的主要贡献是一个低成本的精细操作学习系统，包括一个遥操作系统和一个新颖的模仿学习算法。这个遥操作系统尽管成本比较低，但是可以完成精度高，强交互得任务。这个模仿学习算法ACT，能够学习高精度闭环的行为，并且优于以前的方法。这两部分的协同作用使得在现实世界中直接学习6项精细的操作技能，例如打开半透明调料杯、电池对位插入等，任务成功率可达 80%~90%。

2.相关工作

机器人操作的模仿学习。模仿学习允许机器人直接向专家学习。行为克隆（BC）是最简单的模仿学习算法之一，将模仿看做从观察到动作的监督学习。我们试图去优化行为克隆算法，例如通过各类网络结构引入时序历史信息、更换训练损失目标、添加正则化约束等。另有研究聚焦模仿学习的多任务泛化、少样本学习特性，结合语言指令建模，或是利用任务特有结构设计算法。随着数据规模增大，这类模仿学习算法不断升级，可以涌现出大量性能优异的系统，可以泛化新物体，指令与场景。本文致力于搭建一套低成本模仿学习系统，使其能够完成高难度精细灵巧操作。我们从硬件和软件两个方面来解决这个问题，通过构建一个高性能的遥操作系统和一种新颖的模仿学习算法，极大地改善了先前在精细操作任务上的方法。

解决累积误差。行为克隆的一个主要缺点是误差累积效应，前一时间步的误差积累并导致机器人偏离其训练分布，从而导致难以恢复的状态。这一问题在精细操作场景中尤为突出。减轻误差累积的一种方法是允许策略交互和专家修正，例如DAgger算法及其变体。然而通过遥操作设备进行专家标注耗时费力，操作流程也不符合自然操作逻辑。另一种思路是在采集演示数据时注入噪声，构建包含纠错行为的数据集；但在精细操作任务中，噪声会直接导致任务失败，大幅降低遥操作系统的灵巧操作能力。为此，以往研究采用离线方式生成仿真纠错数据，但这类方法仅适用于低维状态可观测、或是抓取类单一任务场景。受上述局限约束，本文从全新角度解决高维视觉观测下的误差累积问题：通过动作分块缩短任务有效决策时长，次性预测整段动作序列而非单步动作；再对重叠动作块进行时序集成，最终输出精准且平滑的机器人运动轨迹。

双臂操作。双臂操作研究在机器人领域由来已久，随着硬件成本下降，相关研究愈发火热。早期的工作从经典控制的角度来处理双手操作，前提是已知环境动力学模型。但是设计这样的模型是耗时的，并且对于具有复杂物理特性的对象可能是不准确的。近年来，学习方法被广泛应用于双臂机器人系统，例如强化学习，模仿人类操作演示、或者预测关键点以衔接基础运动原语等方向。一些工作还专注于细粒度的操作任务，如打结，布料展平，甚至穿针，而使用的机器人相当昂贵，例如达芬奇手术机器人或ABB YuMi机器人。本文采用单台成本仅约 5000 美元的低成本机械臂，使其完成高精度闭环双臂操作任务。本文遥操作架构与 Kim 等人的研究最为相近，同样采用主从机器人关节空间映射方式。与之不同的是，本系统无需专用编码器、高精度传感器与定制机加工零件，仅使用市面通用机械臂与少量 3D 打印零件即可搭建，非专业人员在 2 小时内就能完成组装。

3.ALOHA：面向双臂遥操作的低成本开源硬件系统

我们试图开发一种可访问的、高性能的遥操作系统，以实现精细操作。我们将设计考虑总结为以下5个原则。

1. 低成本：整套系统预算符合绝大多数机器人实验室经费水平，价格与单台工业机械臂相当。
2. 通用性强：可适配各类真实物体，完成多样化精细操作任务。
3. 使用友好：系统应具有直观、可靠、易用等特点。
4. 易维护：设备出现故障时，科研人员可快速自行维修。
5. 易搭建：所用材料易于采购，研究人员可快速完成整机组装。

在机器人选型阶段，结合低成本、易维修、易搭建三大原则，我们采用两台 ViperX 六自由度机械臂搭建平行夹爪双臂操作平台。出于成本与维护难度考量，我们并未选用灵巧多指手。所用 ViperX 机械臂有效负载 750 克，工作半径 1.5 米，定位精度 5~8 毫米。该机器人采用模块化结构，维修便捷：在电机出现故障的情况下，低成本的Dynamixel电机可以轻松更换。单台机器人市面售价约 5600 美元。然而，OEM手指的多功能性不足以处理精细操作任务。因此，我们设计了自己的3D打印"穿透式"手指，并将其与夹持带相配合。该设计既能在精细操作时保证视野通畅，又可以稳定夹持薄塑料片等细小物体。

然后，我们试图围绕ViperX机器人设计一个最大限度用户友好的遥操作系统。与将VR控制器或相机捕获的手部位姿映射到机器人的末端执行器位姿(即工作空间映射)不同，我们使用由同一公司生产的小型机器人WidowX的直接关节空间映射，成本为3300美元。操作人员反向驱动小型 WidowX 臂（主端机器人）进行遥操作，其关节角度会与大型 ViperX 臂（从端机器人）实时同步。在搭建过程中我们发现，相较于任务空间映射，关节空间映射具备多项优势：

1. 精细操作常常需要在机器人奇异位形附近作业，本机器人为 6 自由度无冗余结构，常规现成逆运动学算法极易求解失败。而关节空间映射可在关节限位内实现高带宽稳定控制,同时计算量更小、延迟更低。
2. 主端机器人自身自重可以限制操作人员过快动作，同时抑制微小抖动。相比手持 VR 控制器，关节空间映射在高精度任务上表现更优异。

为进一步优化遥操作手感，我们为主端机器人加装了自主设计的 3D 打印手柄剪式传动结构。它减少了操作者反驱动电机所需的力，并允许对夹持器进行连续控制,而非单纯开关式启闭。我们还设计了橡皮筋重力平衡结构，抵消主端臂一部分自重载荷，减轻操作人员发力负担，支持长达 30 分钟以上的长时间连续遥操作。

系统其余部分采用 20×20mm 铝型材搭建机器人防护笼，并通过交叉钢索加固结构。整套系统共搭载 4 台罗技 C922x 网络摄像头，每台均以 480×640 分辨率传输 RGB 彩色图像。其中两个网络摄像头安装在跟随机器人的手腕上，允许夹持器的特写视图。其余两个相机分别安装在前方和顶部。遥操作和数据记录均在50Hz下进行。

结合上述设计原则，我们搭建完成双臂遥操作平台 ALOHA，整套预算不超过 2 万美元，成本与 Franka Emika Panda 这类单台科研机械臂相当：

• 高精度任务：穿上拉链、从钱包中拾起信用卡、打开或关闭邮包等
• 强交互任务：将288引脚RAM插入计算机主板翻页图书、在NIST板# 2中装配链条和皮带等
• 动态运动任务：使用乒乓球拍颠球、保持球体稳定不掉落、在空中甩动展开塑料袋。

据我们所知，现有预算高出 5~10 倍的遥操作系统，均无法完成穿扎带、插拔内存条、颠乒乓球这类操作技能。附录 A 中附有详细的价格与性能对比表，图 9 则展示了 ALOHA 可实现的更多操作技能。为降低 ALOHA 的使用门槛，我们将所有软件和硬件开源，并提供了详细的教程，包括3D打印，将框架组装到软件安装。你可以在项目网站上找到教程。

图 4：Transformer 动作分块算法（ACT）网络结构

我们将 ACT 以条件变分自编码器（CVAE）形式进行训练，模型包含编码器与解码器两部分。左侧：CVAE 编码器将动作序列与关节观测信息压缩为隐风格变量 z，模型推理阶段不再使用编码器。右侧：ACT 解码器（即策略网络）通过 Transformer 编码器融合多视角图像、关节位置与隐变量 z，再经由 Transformer 解码器输出预测动作序列。测试时，隐变量 z 直接取先验分布均值（即零向量）。

左半部分：仅在训练阶段使用，推理时丢弃。核心输入三类包括CLS聚合标记，机器人关节状态joints。其中动作序列是人类遥操作采集的标签数据，关节状态是机器人的实时观测信息，位置编码用于给序列标注时序位置，让 Transformer 捕捉动作的先后顺序。

右半部分：模型输入覆盖视觉、本体状态、风格隐变量三类信息，对应 ALOHA 硬件系统的采集数据：第一阶段为多模态输入和特征提取。第二阶段Transformer 编码器（跨模态全局特征融合）。第三阶段为Transformer 解码器（动作序列生成）

图5.们在动作执行阶段同时采用动作分块与时序集成策略，而非交替进行环境观测与动作执行。

上半部分：基础动作分块，每隔 k 个时间步，智能体获取一次环境观测，一次性预测未来 k 个时间步的完整动作序列

下半部分：不再每隔 k 步才预测一次，而是每一个时间步都重新获取观测、执行一次策略推理，每次都输出未来 k 个时间步的动作序列，形成大量重叠的滑动动作块。对每个时间步的多轮重叠预测结果，按新预测高权重、旧预测低权重的规则做加权平均，得到最终执行的动作。

4.Transformer动作分块算法（ACT）

正如我们在第五节中所见，现有的模仿学习算法在需要高频控制和闭环反馈的细粒度任务上表现不佳。因此我们设计了全新算法 —— 基于 Transformer 的动作分块算法（ACT），用以高效利用 ALOHA 采集的操作数据。本章先概述 ACT 整体训练流程，再逐一详解各项算法设计细节。

为了在新任务上训练ACT，我们首先使用ALOHA收集人类演示。我们记录主端机器人的关节位置（即人类操作员的输入），并将其作为动作标签。必须使用主端关节位置而非从端的关节位置，这一点至关重要。因为通过底层 PID 控制器，操作人员施加的力的大小是由主从两端的关节位置差隐式定义的。观测数据则由从端机器人当前的关节位置，以及 4 路摄像头的图像流共同构成。接下来，在给定当前观测值的情况下，我们训练ACT来预测未来动作的序列。此处的每个动作，对应于双臂在未来一个时间步内的目标关节位置。直观地说，ACT 试图模仿人类操作员在给定当前观测下，未来若干时间步内的操作行为。随后，Dynamixel 电机内部的底层高频 PID 控制器会追踪这些目标关节位置。在测试阶段，我们加载验证损失最低的策略模型，并在真实环境中执行推理。面临的主要挑战是误差累积错误，前序动作产生的误差导致机器人所处的状态偏离训练数据分布的范围。

A.动作分块与时序集成

为适配像素到动作策略、解决模仿学习中的误差累积问题（见图 2），我们对高频采集的长轨迹缩短有效决策时长。我们受到动作分块的启发，它是一个神经科学的概念，人类会将零散动作组合成整体单元统一执行，大幅提升动作存储与执行效率。直观地说，一个动作块可以对应于抓取糖果包装盒的一个角落或将电池插入槽中。在我们的实现中，我们将组块大小固定为k：每经过k步，智能体接收一个观测，生成下k个动作，并按顺序执行动作。在算法实现中，我们固定动作块长度为 k：智能体每隔 k 步获取一次环境观测，一次性预测未来 k 步动作，并按顺序依次执行（见图 5）。这让任务有效决策跨度直接缩短 k 倍。具体来说，策略模型由，变为序列预测。动作分块同时能够拟合人类演示中的非马尔可夫行为。动作分块同时能够拟合人类演示中的非马尔可夫行为。单步策略难以处理时序相关干扰因素，例如演示过程中的停顿行为 —— 因为机器人动作不仅取决于当前状态，还与所处时间步相关。当干扰处于同一个动作块内时，动作分块即可有效缓解该问题，同时不会像历史依赖型策略那样引入因果混淆问题。

算法1.ACT训练算法

1: 输入：演示数据集D、动作块长度k、正则化权重β
2: 定义：a_t、o_t 分别代表t时刻的动作与观测值；ō_t 代表剔除图像观测后的o_t（仅保留机器人关节本体观测）
3: 初始化编码器 q_φ(z|a_{t:t+k}, ō_t)
4: 初始化解码器（策略网络）π_θ(â_{t:t+k}|o_t, z)
5: 对迭代轮次 n = 1,2,... 执行循环：
6:     从数据集D中采样t时刻的观测o_t，以及t到t+k时刻的真实动作序列a_{t:t+k}
7:     从编码器分布 q_φ(z|a_{t:t+k}, ō_t) 中采样隐风格变量z
8:     基于解码器π_θ(â_{t:t+k}|o_t, z)，预测未来k步动作序列â_{t:t+k}
9:     重构损失 L_reconst = MSE(â_{t:t+k}, a_{t:t+k})（预测动作与人类演示动作的均方误差）
10:    正则化损失 L_reg = D_KL(q_φ(z|a_{t:t+k}, ō_t) || N(0, I))（编码器分布与标准正态先验的KL散度）
11:    使用ADAM优化器，以总损失 L = L_reconst + β·L_reg 更新网络参数θ与φ

算法 2 ACT 推理算法

1: 输入：训练完成的策略网络π_θ、任务回合总长度T、时序集成权重系数m
2: 初始化先进先出（FIFO）缓冲区 B[0:T]，其中B[t]用于存储所有为t时刻预测的动作
3: 对时间步 t = 1,2,...T 执行循环：
4:     基于策略网络π_θ(â_{t:t+k}|o_t, z)预测动作序列â_{t:t+k}，其中隐变量z固定为0
5:     将预测的动作序列â_{t:t+k}，分别存入对应时间步的缓冲区 B[t:t+k]
6:     从缓冲区中取出当前时刻的所有历史预测动作 A_t = B[t]
7:     加权平均得到最终执行动作 a_t = ∑_i w_i A_t[i] / ∑_i w_i，其中权重 w_i = exp(-m·i)

动作分块的朴素实现方案存在性能缺陷：系统每隔 k 个时间步才会突兀地接入一次全新环境观测，极易造成机器人运动顿挫抖动。为提升动作平滑度、避免动作执行与环境观测之间出现离散式切换，我们在每一个时间步都对策略网络进行查询推理。这会让相邻动作块互相重叠，同一个目标时间步会对应多个不同的预测动作。相关原理如图 5 所示，我们由此提出时序集成算法，对这些多组预测结果进行融合计算。相关原理如图 5 所示，我们由此提出时序集成算法，对这些多组预测结果进行融合计算。我们的时序集成采用指数权重方案，其中对应最早历史预测动作的权重。超参数m决定了新环境观测信息的更新速度：m取值越小，新观测信息融入动作决策的速度就越快。我们注意到，常规平滑算法会将当前动作与相邻时间步动作融合，由此引入系统性偏差；而我们的方法仅对同一时间步的多个预测动作做聚合计算，完全不会产生这类偏差该流程不会增加任何训练开销，仅会小幅提升推理阶段的计算量。实际实验验证表明：动作分块与时序集成二者缺一不可，共同保障了 ACT 算法输出高精度、高平滑度的机器人运动。

B.人类行为数据建模

模仿人类带噪声的演示数据，是算法面临的另一大挑战。面对完全相同的环境观测，人类操作员会采用截然不同的运动轨迹完成同一任务；同时在精度要求较低的场景区域，人类操作本身也具备更强的随机性。因此，策略模型必须重点关注高精度要求的关键作业区域。我们采用生成式模型训练动作分块策略，以此解决该问题。具体来说，我们将策略训练为条件变分自编码器（CVAE），使其能够根据当前环境观测，生成对应的动作序列。CVAE 包含两大模块：CVAE 编码器与 CVAE 解码器，分别对应图 4 的左侧与右侧结构。其中编码器仅用于模型训练阶段，在测试推理时会被完全舍弃。其中编码器仅用于模型训练阶段，在测试推理时会被完全舍弃。编码器以当前观测与完整动作序列作为输入，预测风格隐变量z的分布均值与方差，该分布被建模为对角高斯分布。为提升实际训练速度，编码器不输入图像观测，仅以机器人本体关节观测、动作序列作为条件输入。CVAE 解码器（也就是最终机器人策略）同时以隐变量z、当前当前观测（图像 + 关节位置）作为条件输出动作序列。在测试时刻，我们设定z为先验分布的均值，即为零向量，以进行确定性解码。整个模型以最大化演示动作块对数似然为训练目标，即：。沿用标准 VAE 损失目标，由两部分构成：动作重构损失、约束编码器分布贴合高斯先验的 KL 正则化项。参照相关研究，我们使用超参数β对正则化项做权重缩放。直观来讲，β取值越大，隐变量z承载的动作风格信息就越少。实验证明，CVAE 损失目标是从人类演示数据中学习高精度操作任务的核心关键。我们将在 6.2 小节展开更详细的机理讨论。

C.ACT算法实现

本文基于 Transformer 搭建 CVAE 编码器与解码器，原因在于 Transformer 天然适用于跨序列信息融合与新序列生成任务。

CVAE 编码器采用类 BERT 结构的 Transformer 编码器实现。编码器的输入是来自示范数据集的当前关节位置和长度为k的目标动作序列，同时仿照 BERT 结构，在序列首位拼接一个可学习的「[CLS]」标记，最终构成长度为K+2的输入序列（见图 4 左侧）。输入经过 Transformer 编码后，提取 [CLS] 对应的全局特征，用于预测风格隐变量 z 的均值与方差，然后将其作为解码器的输入。CVAE解码器(即策略网络)以当前观测值和z作为输入，预测下一个k个动作(图4右)。解码器整体由残差网络图像编码器、Transformer 编码器与 Transformer 解码器共同搭建。简单来说，Transformer 编码器负责融合多视角图像、关节位置与风格隐变量等多源信息；Transformer 解码器则基于融合特征，生成连续且连贯的动作序列。观测包括4幅RGB图像，每幅图像的分辨率为480 × 640，以及两个机械臂( 7 + 7 = 14 Do F)的关节位置。动作空间为两台机械臂的绝对关节位置，对应 14 维向量。结合动作分块机制，策略接收单帧当前观测后，输出维度为 k*14的动作张量。该策略首先使用ResNet18骨干网络对图像进行处理，将480 × 640 × 3的RGB图像转换为15 × 20 × 512的特征图。然后沿空间维度展平，得到300 × 512的序列。为保留空间位置信息，本文为图像特征序列加入二维正弦位置编码。对所有4幅图像重复此操作，得到1200 × 512维的特征序列。在此基础上，额外拼接两组特征：当前关节位置与风格隐变量 z，二者分别通过线性层映射至 512 维统一维度。最终送入 Transformer 编码器的输入特征维度为 1202×512。Transformer 解码器通过交叉注意力机制绑定编码器输出：解码器输入为固定可学习位置编码，尺寸 k×512；注意力的键、值张量均来自 Transformer 编码器的输出特征。解码器输出维度为k×512，再经由多层感知机（MLP）降维映射至k×14，对应未来K步的目标关节位置预测结果。动作重构损失选用 L1 损失，而非更常用的 L2 损失。L1 损失能够对动作序列实现更精细的建模。若改用关节位置增量作为动作输出、而非直接预测绝对目标关节位置，模型性能会明显下降。完整网络结构示意图详见附录 C。

我们在算法 1 与算法 2 中总结了 ACT 模型的训练与推理流程。该模型约有 8000 万参数，且每项任务均采用从零开始的训练方式。在单张 11G 显存的 RTX 2080 Ti 显卡上，完整训练耗时约 5 小时；同一设备下，模型单次推理耗时约 0.01 秒。

5.实验

本文通过实验评估 ACT 算法在精细操作任务上的综合性能。为便于结果复现，我们基于 MuJoCo 仿真平台构建了两项虚拟精细操作任务，并结合 ALOHA 硬件平台设计六项真实物理任务。

A.任务

所有8项任务都需要细粒度、双手操作，如图6所示。

密封袋开合任务：右侧夹爪需精准捏住密封袋的滑扣并完成开合，左侧夹爪固定袋身以保持稳定。

电池装填任务：右夹持器需要先将电池放入遥控器的槽内，然后利用手指尖端在电池边缘微妙地推动，直至完全插入。由于电池槽内部的弹簧导致遥控器在插入时向相反的方向移动，左手爪向下推动遥控器使其保持到位。

小料杯开盖任务：任务目标为打开小型调料杯盖子。由于杯子尺寸较小，夹持器仅从侧面靠近杯子无法抓取杯体。因此，我们利用两个夹持器：右手手指先轻轻敲击靠近杯口的边缘使其翻转，然后将其推入开放的左手夹持器中。这种推挤步骤要求在视觉感知上具有较高的精度和闭环性。然后左手爪轻轻关闭并将杯子从桌子上举起，随后右手手指撬开盖子，这也要求精度不能错过盖子或损坏杯子。

魔术贴穿扣任务：需要将魔术贴扎带的一端穿入另一端的小型扣环中。左侧夹爪先从台面拾取魔术贴扎带，右侧夹爪于空中捏住扎带尾端，双臂协同完成空中对孔穿插。扣环尺寸为 3 毫米 ×25 毫米，魔术贴扎带厚度 2 毫米、宽度随位置变化为 10–25 毫米。为了使这个任务成功，机器人必须使用视觉反馈来纠正每次抓取时的扰动，首轮夹持若出现数毫米误差，会在空中二次夹持阶段持续累积，最终导致穿插环节偏差超过 10 毫米、任务失败。

胶带预处理任务：目标是将一小段胶带固定粘贴在纸箱边缘。右侧夹持器先抓取胶带并用胶带分配器的刀片将其剪断，然后将胶带段手握至左侧夹持器空中。随后双臂共同靠近箱体，左侧夹爪将胶带轻贴箱面，右侧指尖按压胶带防止滑脱，最后左侧夹爪松开放置胶带。与魔术贴穿扣任务类似，该任务需要双臂多步精细协同配合。

鞋子穿戴任务：需将鞋子套在固定假人足模上，并粘合魔术贴绑带完成固定。双臂分别捏住鞋舌与鞋口，抬起鞋子对准足模；鞋体贴合度紧凑，穿入难度较高，需要双臂精密协同微调、缓慢套入，同时两次夹持必须足够稳固，以克服袜子与鞋体之间的摩擦。穿鞋完成后，左侧手臂绕至鞋底托举防掉落，右侧手臂翻折魔术贴绑带并按压粘合。只有当双臂释放后，鞋子紧贴脚部时，任务才被认为是成功的。

仿真任务：方块传递：右臂需要先拾起躺在桌子上的红色立方体，然后将其放置在另一臂的抓手内部。方块与左侧夹爪间隙仅约 1 厘米，微小操作误差就会引发碰撞，导致任务失败。

仿真任务：双臂插装：左右臂分别握持基座插孔与插销，在空中完成对接插入，使插销接触插孔内部触点，插装配合间隙约 5 毫米。

对于所有的8个任务，物体的初始位置要么沿着15cm的白色参考线随机变化(真实世界任务)，要么在2D区域内均匀变化(模拟任务）。图 6 与图 7 展示了所有任务的初始摆放状态与细分子步骤。本文实验评估同时统计各项子任务的完成表现。

除了完成这些任务所需的精细双臂控制外，实验所用物体也给视觉感知带来极大挑战。例如，密封袋整体近乎透明，仅带有一条细长蓝色密封边。在随机化过程中，袋子上的皱纹和袋内的反光糖衣都会发生变化，并分散感知系统。胶带、调料杯的杯盖与杯身等物体同样属于透明或半透明材质，难以精准检测，也不适合使用深度相机识别。黑色桌面会与多款目标物体形成低对比度视觉效果，如黑色魔术贴扎带、黑色胶带切割器等。尤其在顶视视角下，魔术贴扎带投影面积极小，极大增加了目标定位难度。

B.数据采集

六项真实场景任务的演示数据，均通过 ALOHA 遥操作系统采集。根据任务难度不同，操作人员完成单轮任务耗时 8~14 秒；系统控制频率为 50 赫兹，对应单轮轨迹包含400 至 700 个时间步。除魔术贴穿扣任务采集 100 组演示数据外，其余每项任务各采集 50 组。每项任务的有效演示数据总时长约 10–20 分钟；若计入场景重置、操作失误等耗时，实际总耗时为 30–60 分钟。针对两项仿真任务，本文采集两类演示样本：基于脚本策略生成的演示数据、以及人工操控的演示数据。仿真环境的遥操作方式为：借助 ALOHA 主端机械臂控制仿真机器人，操作人员通过显示器查看环境实时渲染画面进行操控。两类仿真任务均各采集 50 组完整成功的演示样本。

我们强调所有的人类演示本质上是随机的，即使单个人收集了所有的演示。以胶带段的空中双手交接动作为例：每一轮演示中，交接发生的精确位置都不尽相同。操作人员不存在固定的视觉或触觉参照，无法保证每次都在同一位置完成动作。因此，若要稳定完成此类任务，策略不能单纯记忆每次交接的固定位置（演示样本中该位置存在大幅差异），而是需要学会通用规则：双手交接过程中，两侧夹爪必须避免相互碰撞，且左侧夹爪需自主运动至合理位置，稳定完成胶带抓取。

C.实验结果

我们将ACT与四种先前的模仿学习方法进行了比较。BC-ConvMLP 是结构最简、应用最广泛的基线模型。该方法通过卷积网络处理当前图像观测，将提取的视觉特征与机器人关节位置特征拼接，进而预测控制动作。BeT 同样采用 Transformer 架构，但与本文方法存在核心差异：1.无动作分块机制：模型仅依据历史观测序列逐步预测单个动作；2.图像观测由单独训练、且参数固定的视觉编码器完成预处理，感知网络与控制网络无法联合优化。RT-1 为另一类基于 Transformer 的算法，依托固定长度的历史观测窗口输出单步动作。BeT和RT - 1都对动作空间进行了离散化处理：模型输出为离散区间的类别分布，但在BeT的情况下，输出与额外预测区间中心有一个连续的偏移量。反观本文 ACT 方法，面向精细操作的高精度需求，直接预测连续动作。最后，VINN 属于非参数化算法，推理阶段可直接调用历史演示数据。面对新的环境观测，该方法检索视觉特征最相近的 k 条演示样本，通过加权 k 近邻算法输出动作指令；其视觉特征提取器采用预训练 ResNet 骨干，并基于无监督学习在演示数据集上微调。本文以方块传递任务为调优基准，对以上四种对比方法的超参数进行充分精细整定，超参数详细配置详见附录 D。

作为与现有算法的全面对比，我们在表 1 中列出两项仿真任务与两项真实任务的平均成功率。仿真实验采用 3 组随机种子取性能均值，每组种子包含 50 次测试。格中分别汇报脚本演示数据（分隔线左侧）与人工演示数据（分隔线右侧）下的任务成功率。真实场景实验仅使用单一种随机种子，每项任务开展 25 次评测。与之前的所有方法相比，ACT取得了最高的成功率，在每个任务上都大大超过了第二个最好的算法。在两项仿真任务上，无论采用脚本数据还是人工数据，ACT 相对最优传统方法的成功率提升幅度分别达到 59%、49%、29% 与 20%。虽然之前的方法能够在前两个子任务上取得进展，但最终的成功率仍然很低，低于30 %。在密封袋开合、电池装填两项真实任务中，ACT 最终成功率分别达到 88% 与 96%；其余对比算法甚至无法突破任务初始阶段。我们将之前方法的性能不佳归因于数据中的累积错误和非马尔科夫行为。行为在情节结束时显著退化，机器人可以在某些状态下无限期停顿。ACT 借助动作分块机制同时缓解了上述两大问题。本文第 VI-A 节消融实验进一步证明：将动作分块模块嵌入现有基线算法后，其性能均可获得显著提升。此外我们发现：仿真任务中，由脚本数据切换至人工演示数据时，所有算法性能均出现明显下降。究其原因，人类操作的随机性与行为多模态特征，会大幅提升模仿学习的建模难度。

我们在表二中给出其余三项真实场景任务的成功率。对于这些任务，我们仅与迄今为止任务成功率最高的BeT进行比较。本文所提 ACT 方法在开盖任务上的成功率为 84%，魔术贴穿扣任务为 20%，胶带预处理任务为 64%，穿鞋任务为 92%，各项指标均显著优于 BeT；后者在这几项高难度任务中最终成功率全部为零。ACT 在魔术贴穿扣任务上的整体成功率相对偏低，该任务每一个子阶段的成功率大致减半，从第一阶段 92% 逐步衰减至最终的 20%。实验观测到两类典型失败原因：1）第二阶段中，右侧机械臂夹爪闭合过早，无法在空中稳定捏住扎带尾部；2）第三阶段穿插对位精度不足，无法准确穿入扣环。两类失败的共同根源在于视觉观测难以精准定位扎带位置：黑色扎带与背景对比度极低，且扎带在图像中占比极小。相关视觉观测样例详见附录 B。

6.消融实验

ACT 结合动作分块与时序集成两项技术，有效缓解误差累积问题，并更好地处理非马尔可夫演示。该算法将策略以条件变分自编码器（CVAE）形式训练，从而适配存在噪声的人工操作演示。

本节针对以上各个核心模块开展消融实验，并结合用户研究，论证 ALOHA 平台高频控制的必要性。实验共设置四种评测条件：两项仿真任务，分别采用脚本演示数据与人工演示数据进行测试。

A.动作分块与时序集成

在第五章 C 节中，我们发现 ACT 的性能显著优于仅预测单步动作的现有方法，并推测动作分块是其核心关键设计。动作块长度 k 决定单段动作序列的时长，因此可通过调整 k 的取值验证该猜想。当 k=1 时，模型等效为不使用动作分块；当 k 等于完整回合长度时，系统为全开环控制，机器人仅依靠首帧观测，直接输出整段任务的全部动作序列。本组实验关闭时序集成模块，单独量化动作分块带来的增益，并为每一组 k 值单独训练对应策略。图 8 (a) 展示了四种实验条件下的平均成功率（包含两项仿真任务，分别使用人工演示数据与脚本演示数据），其中蓝色曲线代表未加入时序集成的 ACT。实验结果表明：模型成功率随动作块长度提升大幅增长，从 k=1 时的 1% 提升至 k=100 时的 44%；当 k 继续增大后，性能小幅回落。这一结果证明：增大动作分块尺度、缩短有效决策步长，能够整体提升任务表现。k=200、k=400（接近全开环）时性能轻微下降，原因在于模型丧失实时响应能力，且难以对超长动作序列完成有效建模。进一步验证动作分块的有效性与通用性，本文将该模块嵌入两种基线算法进行改造：对于 BC-ConvMLP，直接将网络输出维度扩充至 k× 动作维度；对于 VINN，改为一次性检索后续 k 步动作。我们在图8 ( a )中可视化了它们在不同k下的表现，显示出与ACT一致的趋势，即更多的动作组块提高了性能。虽然ACT仍然优于这两种增强基线，并且获得了可观的收益，但这些结果表明，在这些环境中，动作组块通常有利于模仿学习。

随后，我们针对时序集成开展消融实验，在上述四项任务、不同动作块长度k的条件下，对比开启与关闭该模块的最优成功率差异。需说明的是：有无时序集成的实验组均经过独立超参数调优 —— 适用于无时序集成场景的最优超参数，未必适配开启时序集成的场景。由图 8 (b) 结果可知：BC-ConvMLP 从时序集成中获益最大，性能提升 4%；本文所提 ACT 方法次之，提升 3.3%。而非参数方法 VINN 在引入时序集成后，性能反而出现下降。据此推断：时序集成主要通过平滑建模误差，为参数化模型带来显著增益；反观 VINN 算法，其直接从演示数据集中检索真实动作，本身不存在建模误差问题，因此无法从中受益。

B.基于 CVAE 的训练

本文采用 CVAE 损失目标训练 ACT 模型，用以建模存在噪声、且具备多模态行为特征的人类演示数据。本节设置对照模型：去除 CVAE 约束的 ACT 变体，该模型仅依据当前观测直接预测动作序列，并仅使用 L1 损失完成训练。

图 8 (c) 汇总展示两项仿真任务的综合成功率，并分别绘制脚本数据、人工演示数据下的实验结果。可以看出：在脚本数据训练条件下，移除 CVAE 目标函数后，模型性能几乎无变化，原因在于脚本生成的数据具备完全确定性。而使用人类演示数据训练时，模型成功率从 35.3% 骤降至 2%。这充分证明：在从人工演示中学习操作策略时，CVAE 训练目标至关重要。

C.高频控制是否必要？

最后，我们开展一项用户研究，验证高频遥操作在精细操控任务中的必要性。在硬件配置完全一致的前提下，我们将控制频率从 50Hz 降至 5Hz，该低频设置与近期部分大容量深度网络模仿学习研究的控制频率相近。 实验选取两项高精度任务：魔术贴扎带穿扣、双层塑料杯拆分。两项任务均要求毫米级操作精度，并依赖视觉闭环反馈。本次研究共招募 6 名受试者，其遥操作经验各不相同，且均无 ALOHA 设备使用经历。受试者为计算机专业研究生，包含 4 名男性、2 名女性，年龄区间 22–25 岁。 每名受试者的任务顺序与控制频率顺序均做随机打乱；正式测试前，每人每项条件均配备 2 分钟练习时间。我们记录每组 3 次测试的任务完成时长，实验结果可视化见图 8 (d)。 实验数据显示：5Hz 低频模式下，扎带穿扣平均耗时 33 秒；切换至 50Hz 高频后，平均耗时缩短至 20 秒。塑料杯拆分任务中，提升控制频率可将平均耗时从 16 秒压缩至 10 秒。 综上，本文采用的 50Hz 高频控制方案，能够让操作人员快速完成高灵活度、高精度的精细作业；而将控制频率从 50Hz 降至 5Hz 后，遥操作完成时长平均增加 62%。 我们进一步采用重复测量设计统计方法开展显著性检验，结果正式证明：50Hz 遥操作性能显著优于 5Hz，p<0.001。

7.局限性与结论

本文提出一套面向精细操作的低成本系统，由 ALOHA 遥操作平台与全新模仿学习算法 ACT 共同组成。两大模块相辅相成，仅需约十分钟演示数据，即可在真实物理环境中直接学习各类精密操作技能，例如打开半透明调料杯、电池精准装填等任务，综合成功率可达 80%–90%。尽管本系统具备优异的操作能力，但仍存在部分超出机械臂硬件性能与学习算法上限的复杂任务（如衬衫纽扣扣合）。关于研究局限性的详细探讨参见附录 F。综上，我们希望这套低成本、开源的完整系统，能够为机器人精密操作领域的技术推进提供关键支撑，同时为业内研究者提供易上手、可复用的基础研究资源。