总共分为四个阶段

数据采集 -> 模型训练 -> 模型输出 -> 物理执行

第一阶段：采集：并没有并没有采集任何关于“机械臂电机或关节”的数据

• 高分辨率的“眼睛”（视觉数据）：挂在夹爪手腕上的 GoPro 相机会以高帧率记录 RGB 视频（包含鱼眼畸变）。如果侧面加了镜子，这颗单摄还能同时拍到物体侧面的画面，实现伪多视角。

• 本体的“触觉”（开合度数据）：采集器硬件内部的传感器会实时记录人类手指捏合夹爪的程度（0 到 1 的一维数据）。

• 空间中的“绝对位置”（6D 位姿）：人类操作时，GoPro 内部的 IMU（惯性传感器）在疯狂采样。离线时，系统利用 ORB-SLAM3 算法，结合视频画面中的二维码标签（ArUco）和环境特征，反向推算出每一帧画面发生时，夹爪在真实三维世界里的绝对坐标（X, Y, Z）和旋转姿态（Roll, Pitch, Yaw）。

第二阶段：训练

UMI 默认采用的是 Diffusion Policy（扩散策略）

• 特征融合（看懂环境）：首先使用类似 CLIP 的 Vision Transformer (ViT) 或者 ResNet，把当前相机看到的图像（以及前几帧的图像）压缩成高维特征向量。

• 相对坐标系转换（泛化的关键）：模型绝对不学物体在绝对空间里的坐标，而是学习“相对位姿”。代码会将未来的目标位置，转化为相对于当前夹爪位置的偏差矩阵。这样不管桌子放在哪，只要模型看到杯子在相对于夹爪的右前方，它就知道该往右前移动。

• 去噪生成学习（Diffusion 过程）：模型在训练时，系统会拿一段真实的专家轨迹，往里面注入高斯噪声，把它变成一根乱七八糟的轨迹。

第三阶段：输出

在每一个控制周期（比如每秒 10 次），模型会输出一个 10 维的张量（Tensor）序列，代表未来一小段时间内的轨迹规划：

• 前 3 维（Translation）：X、Y、Z 轴的空间平移量。

• 中 6 维（Rotation 6D）：代表夹爪空间旋转的正交 6D 表达。这里不用传统的欧拉角（3维）或四元数（4维），是因为 Rot6D 在深度学习中具有连续可导性，模型更容易收敛，且没有万向节死锁问题。

• 最后 1 维（Gripper）：此时夹爪应该张开还是闭合的连续数值。

第四阶段：执行

• 轨迹插值（填补时间缝隙）： 模型的推理较慢（10Hz）。系统中的 PoseTrajectoryInterpolator 进程会接管模型输出的这堆 10 维向量，在三维空间中对它们进行平滑的数学插值，生成高达 500Hz 或 1000Hz 的高频坐标点。

• 底层运动学求解（IK & 动力学）： 这些高频的空间坐标被直接发送给机械臂自带的控制箱（比如 UR 的 RTDE 接口，或者 Franka 的 RPC 接口）。

  • 在这里，机械臂的固件接管了一切。

  • 固件内部的逆运动学（Inverse Kinematics）算法和雅可比矩阵瞬间算出：为了让末端法兰盘到达指定的 (X,Y,Z, Rx,Ry,Rz)，这台机器人的底座要转 15 度，肩关节要转 30 度，肘关节要抬起 10 度。

  • 随后，伺服电机输出相应的电流和扭矩，驱动机械臂丝滑地完成动作

Abstract

我们提出通用操作接口（UMI）—— 这是一套面向数据采集与策略学习的框架，能够将真实环境下的人类演示直接进行技能迁移，形成可部署的机器人策略。UMI 通过手持夹爪与精细化接口设计，实现了便携、低成本且信息丰富的数据采集，可用于高难度的双手协同与动态操作演示任务。为了推动可部署策略学习，UMI 集成了精心设计的策略接口，具备推理时延匹配与相对轨迹动作表征能力。学习得到的策略与硬件无关，可以部署到多种机器人平台上。具备了这些特性，UMI框架解锁了机器人操作的全新能力，仅允许修改各个任务的训练数据，即可实现动态操作，双手协同，精细操作与长时序任务的零样本泛化。我们通过全面的真实世界环境验证了UMI的通用性和有效性，在多样的人类演示数据上训练的 UMI 策略，能够零样本泛化至全新环境与物体上。UMI 的软硬件系统已在 https://umi-gripper.github.io 开源。

1.INTRODUCTION

我们应当如何演示复杂操作技能，以供机器人学习？该领域的相关研究主要从两个方向探索这一问题：通过遥操作在实验室内采集针对性的机器人数据集，或利用非结构化的真实场景的人类视频。遗憾的是，这两种方式均存在不足，遥操作需要高昂的硬件成本和专业操作人员，而人类视频与机器人存在巨大身体差异。

近年来，带有力控的手持夹爪作为数据采集接口成为了一种具有前景的折中方案——尽可能的缩小具身差异的同时，保持直观性和灵活性。尽管这些方案具备潜力，但是在平衡动作多样性和可迁移性仍具有困难。尽管理论上用户可以用手持设备收集任何操作，但是大量的数据仍然无法转化为有效的机器人策略。因此，尽管在数百个环境中实现了令人印象深刻的视觉多样性，但是采集的动作仍然受限于简单的抓取或准静态的拾取放置，缺乏动作的多样性。

是什么原因阻碍了之前的动作迁移呢？我们发现了几个细微却至关重要的问题：

• 视觉上下文不足：虽然使用腕部挂载相机是对齐观测空间和提高设备便捷性的关键，但是也限制场景的视觉覆盖范围。相机与被操作物体距离过近，经常导致严重的遮挡，无法为规划提供充足的视觉上下文信息。
• 动作精度不足：大多数手持设备依赖单目运动恢复结构（SfM）来还原机器人动作。然而，此类方法难以还原精确的全局动作，因为尺度模糊，运动模糊或纹理缺失等问题。极大的限制系统可执行任务的精度。
• 时延不一致：在手持设备采集数据阶段，观察和动作记录都没有时延。然而在推理阶段，系统内部会出现各种时延包括传感器，推理和执行延迟。未考虑时延差异的策略会遇到分布外输入，进而产生动作不同步的问题。该问题在快速，动态的动作尤为突出。
• 策略表征能力不足：已有工作通常采用简单的策略结构并使用动作回归损失，限制了模型对人类数据中固有的复杂多模态动作分布的建模能力。因此，即便能精确还原演示动作并且消除所有差异，最终得到的策略仍然难以精准拟合数据。随着更多的演示者增加多模态动作，进一步阻碍了大规模，分布式的人类数据采集工作。

本文通过对演示接口和策略接口进行精细化设计，解决了上述问题：

• 首先，我们的目标是为人类演示确定出合适的物理接口，使其操作直观的同时能够采集到策略学习的所有信息。具体而言，我们使用鱼眼镜头去扩大视场角并且丰富上下文信息。并在夹爪上增加侧镜去提供隐含的立体观测。结合GoPro内置的IMU传感器，可在快速运动下实现鲁棒的跟踪。
• 其次，我们探索了正确的策略接口（即观测与动作表征），使策略具备硬件无关性，进而实现有效的技能迁移。具体来说，我们在推理阶段采用时延匹配去处理不同传感器观测和执行时延，使用相对轨迹作为动作表征去消除对精确全局动作的需求。最后采用扩散策略来对多模态动作分布进行建模。

最终系统——通用操作接口（UMI），提供了一套实用，易用的框架，去解锁机器人新的操作技能，允许我们在任意环境中演示任何动作，同时保持从人类演示到机器人策略的高迁移性。

只需在手持夹爪上安装一个腕部摄像机，我们证明，UMI能够通过仅仅更改每个任务的训练数据，实现涉及动态操作，双手协调，精确操作与长时序动作的各类复杂操作任务。

此外，在经过多样化人类演示数据上训练后，最终策略展现出对全新环境和未知物体实现零样本泛化的效果，在分布外测试中达到70%的成功率，这个泛化能力在其他行为克隆框架中极为罕见。

我们已在 https://umi-gripper.github.io 开源了整套硬件与软件系统。

2.相关工作

对于任何数据驱动的机器人系统而言，数据本身是关键支撑要素，本文将回顾机器人操作领域中几种典型的数据采集流程。

A.遥操作机器人数据

模仿学习从专家演示中学习策略，行为克隆是利用遥操作机器人进行演示，因为直接迁移性脱颖而出。但是通过遥操作真实机器人进行数据采集面临着巨大的挑战。以往的方法采用多种接口进行操作，例如3D空间鼠标，虚拟现实/增强现实控制器，智能手机以及触觉设备。这些方法要么成功非常高昂要么由于高延迟和缺乏用户直观性难以使用。尽管近期领先的的主从式设备（如ALOHA和GELLO）提供了直观和低成本的界面为前景，但是他们在数据采集阶段依赖真实的机器人，限制系统能够获取真实野外数据获取的环境类型与数量。外骨骼设备消除了真实机器人数据采集的依赖。然而在部署时仍需要微调使用遥操作的真实机器人数据。此外，上述设备产生的数据与策略都为特定具身，无法使用于不同的机器人平台。

与之不同，UMI无需依赖实体机器人在数据收集阶段，并且为野外环境下的机器人示教提供了更便携的接口，提供可迁移到不同机器人形态（6DoF或&DoF机器人手臂）的数据与策略。

B.来自人类视频的视觉演示

有一类研究方向专注于从真实视频数据（YouTube视频）中进行策略学习。最常见的方式是通过各种被动人类演示视频学习。利用被动人类演示，以前的研究学习任务代价函数，可供性函数，稠密物体描述，动作对应关系以及预训练视觉表征。

然而，这个方法面临三大核心挑战。首先，大多数视频演示缺少显式动作信息，对于学习具备泛化能力的策略至关重要。为了从被动采集的人类视频推断出动作数据，以往的研究采用手部姿势检测器，或将人类视频与领域内遥操作机器人结合以预测动作。其次，人类与机器人之间显著的具身差距阻碍了动作迁移。为了弥合差距，包括通过手部姿势重定向学习人-机动作映射，或提取与具身无关的关键点。尽管做出这些尝试，固有的具身差距仍然使得从人类视频到实体机器人的策略迁移难以实现。第三，这个固有的观测差距由具身差距带来的，会导致训练与推理阶段的观测数据不可避免的不匹配。尽管已努力将演示观测与机器人观测对齐，但是仍会进一步降低最终策略的可迁移性。

相比之下，通过UMI采集的数据在动作空间与观测空间展现出了极小的具身差距，通过鲁棒的视觉惯性相机跟踪精确提取操作动作，并且在教学和测试阶段使用公用的鱼眼相机。因此，该方法能针对动态，双手协调，高精度及长时序操作任务，实现真实场景下的零样本策略迁移。

C.准静态操作的手持夹爪

手持夹爪装置能够最小化操作数据收集的具身差异，同时具备便携性和直观接口，可在真实环境采集数据。然而，这类设备精准地提取出6自由度末端执行器位姿仍然存在挑战，这也阻碍了基于这些数据中学习的机器人策略在细粒度操作任务中的应用。

此前研究已尝试通过多种方法解决这一问题，例如存在尺度模糊问题的运动恢复结构（SfM）方法；需要昂贵传感器与机载计算资源的RGB-D 融合方案；以及仅适用于实验室环境的外部运动跟踪系统。受限于末端执行器（EE）跟踪精度与鲁棒性不足，这些设备只能采用准静态动作。通常需要笨重的机载计算机或外部动作捕捉，降低了在野外数据采集的可行性。相比之下，UMI将先进的SLAM与GoPro内置IMU数据相结合，能够在全局范围内精确捕捉6自由度动作（6DoF）。高精度的数据使得训练出的行为克隆策略（BC）可以学习双手操作任务。通过全面的延时匹配，UMI进一步支持现实世界动态操作部署，如投掷。

最近，Dobb-E提出了一种搭载iphone的“可伸展抓取器”工具，用于为Stretch机器人采集单臂演示数据。然而，Dobb-E仅在准静态任务上实现策略部署，并且需要针对特定环境进行微调。与之相反，仅使用UMI采集的数据进行训练，便可在真实野外环境，位置物体，多种机器人本体进行零样本泛化。并适应于动态，双手协调，高精度以及长时序任务。

3.方法

通用操作接口（UMI）是一套手持式数据采集与策略学习框架，支持将真实场景下的人类演示技能直接迁移为可部署的机器人策略。涉及目标如下：

• 便携性：手持性UMI夹爪能够携带至任何环境，在收集数据的时候，无需任何准备。
• 高性能：能够采集并且迁移自然，复杂的人类操作技能，不局限于拾取放置类任务。
• 信息充分性：采集的信息应该包含足够的信息以学习有效的机器人策略，并尽可能减少阻碍具身特定信息。
• 可复现性：研究人员与爱好者均可稳定搭建 UMI 夹爪，利用数据去训练自己的机器人，即使机械臂型号不同。

以下章节描述了我们如何通过硬件和策略接口设计实现上述目标。

A.演示接口设计

UMI的数据收集硬件为扳机触发式，手持3D打印平行爪夹爪有柔性指面，并且搭载一台GoPro相机作为唯一的传感器和记录设备（见HD1）。针对双手操作任务，UMI可以用他另一个夹爪轻松扩展UMI。我们需要解决的核心问题是：

仅仅使用一台腕部挂载相机，如何为各类任务采集足够的信息？

具体来说，在观测层面，设备需要捕捉到足够的视觉上下文用来推断动作HD2和关键深度信息HD3。在动作方面，它需要在人体快速运动下精确捕捉机器人动作HD4，记录夹持宽度的精细微调HD5，并根据机器人硬件运动学自动校验每次演示是否有效HD6。后续章节将详细的介绍我们如何实现这些目标。

HD1.腕部挂载相机作为观测输入

我们仅仅使用腕部挂载相机，无需任何外部相机设备。在机器人部署UMI时，我们将GoPro相机安装在3D打印手指的位置，与手持夹爪上的相机位置完全一致。该设计具有以下优势：

1. 最小化观测层面的具身差距。感谢我们的硬件设计，腕部挂载相机观察到的视频几乎无法区分人类演示和机器人演示，使得策略对具身形态不敏感。
2. 机械鲁棒性。因为相机对于手指是机械固定的，将UMI安装在机器人上，无需进行相机-机器人-世界坐标系校准。因此，系统对于机械冲击具有更强的鲁棒性，便于部署。
3. 硬件搭建便携式。无需外部固定相机或额外机载计算设备，我们大幅度简化了数据采集装置，让整个系统更加便携。
4. 运动相机带来自然的数据多样性。实验中我们观察一个附带好处，使用移动的相机进行训练，策略学会关注与任务相关的对象或区域，而不是背景结构（效果类似于随机裁剪）。因此最终策略在推理过程中对干扰因素自然变得更具有鲁棒性。

不使用外部固定相机也给下游策略学习带来了额外挑战。例如。策略现在需要去处理非固定和局部观测。我们缓解了这些问题通过采用宽视场鱼眼镜头（HD2）与鲁棒的视觉跟踪（HD4），描述在后面的章节。

UMI侧后视镜：超广角相机配合精心设计的后视镜，可以促进隐式立体深度估计。（a）：这个视角通过每面镜子的视角实际创建了两个虚拟摄像机，其位姿是主相机相对于主镜面反射。（b）：盘子上的番茄酱在主相机视野中被遮挡，但是在右边的后视镜可见，证明后视镜可模拟具有不同光学中心的相机。（c）：我们将对镜中画面进行数字镜像处理，用于策略观测。注意，经过反射后，杯柄的方向在三个视角中保持一致

HD2.用于视觉上下文的鱼眼镜头

我们在腕部挂载的 GoPro 相机上加装了 155 度鱼眼镜头，能够为更多的任务提供充足的视觉上下文信息。作为策略的输入，我们直接使用使用未去畸变的原始鱼眼图像。鱼眼效果方便地保持中心分辨率（resolution in the center），同时压缩周边视角的信息。与之相反，经过矫正的针孔相机图像展示出了极端畸变，因为视角过大，并不适用于策略学习。除了增加视觉特征和重叠区域来提升SLAM的鲁棒性外，我们的定量评估也表明，鱼眼镜头通过提供必要的视觉上下文，有效的提升了策略性能。

HD3.侧镜用于隐式立体

为了缓解单目相机视图缺乏直接深度感知的问题，我们在相机的周边视野中放置了一对物理镜子，从而在一张图像中形成隐含的立体视图。如图4所示，镜子内部的图像等效于沿镜面对称生成的其他相机所能看到的图像，但没有额外的成本和重量。利用这些镜面视角，我们发现对镜子中的图像的裁剪进行数字反射可以获得最佳的策略学习效果。注意没有数字镜像，通过侧边镜看到物体的视角与主照相机的视角相反。

HD4.融合IMU的位姿跟踪

UMI利用GoPro内置功能，将IMU数据（加速度计和陀螺仪）记录到标准的MP4视频文件中，能够以绝对尺度捕捉到快速运动。通过联合优化视觉跟踪和惯性姿态约束，我们基于ORB-SLAM构建的视觉-惯性单目SLAM系统，即使在因运动模糊或缺乏视觉特征（如低头看桌子）而视觉追踪失效时，也能在短时间内保持跟踪。

使得UMI能够采集并执行投掷等高度动态的动作。此外，视觉惯性联合优化允许直接恢复真实度量尺度。这对动作精度和夹爪间位姿自感知（PD2.3）至关重要，而这也是实现双手操作策略的关键要素。

HD5.连续夹爪控制

与之前的工作中采用的二元开合动作不同，我们发现对夹爪开度进行连续控制，能显著拓展平行夹爪可完成的任务范围。例如，抛掷任务需要精确的时间去释放物体。由于物体的宽度不同两元夹爪的动作难以满足精度要求。在UMI夹爪上，手指开度通过基准标记点实现持续跟踪。使用串联弹性末端执行器原理，UMI可以通过连续控制夹爪开度，调节柔性手指的形变，来隐式记录与控制抓取力。

HD6.基于运动学的数据过滤

尽管数据收集的过程与机器人无关，我们采用简单的运动学数据过滤，为不同机器人型号选择有效的轨迹。具体来说，在已知机器人基座位置与运动学参数的情况下，由 SLAM 恢复得到的末端执行器绝对位姿，可用于对演示数据进行运动学与动力学可行性过滤。在过滤后的数据集上进行训练，能够保证策略满足特定机器人本体的运动学约束。

整体整合。UMI夹爪重780g，外部尺寸为长310mm*宽175mm*高210mm，指距为80mm。3D打印夹爪的物料清单（Bill of Material，BoM）花费73美元，GoPro相机及其配件合计298美元。如图所示，我们可以为任意机械臂配备兼容的夹爪与相机装备。

B.策略接口设计

收集演示数据，我们可以训练一种视觉策略：如下图所示，

UMI策略接口设计。（a）我们通过实测物理时延对不同观测数据流进行同步。（b）UMI策略接收同步的观测序列（RGB图像，相对末端执行器位姿及夹爪开度）并且输出目标相对于末端执行器位姿和夹爪开度序列作为动作。（c）我们提前发送动作指令去补偿机器人的执行时延。

该策略接收一组同步的观测数据（RGB图像，6自由度末端执行器以及夹爪开度）并且输出一组动作序列（末端执行器位姿与夹爪开度）。在本文中，我们实验均使用扩散策略。另外的框架比如ACT框架也可直接代替方案。

UMI 策略接口设计的一个重要目标，是保证该接口与底层机器人硬件平台无关，从而使得在单一数据源（即手持夹爪）上训练得到的策略，能够直接部署到不同的机器人平台。为此，我们旨在解决以下两个关键挑战：

• 硬件专属时延。各种硬件的时延（流媒体摄像机，机器人控制，工业抓手）在不同系统部署间差异极大。范围从数毫秒到数百毫秒不等。与之相反，UMI握力器捕获的所有信息流相对于图像观测均为零延迟，这得益于GoPro的同步视频、IMU测量和基于视觉的夹爪宽度估计。
• 具身特异性本体感知。常用的本体感知观测信息（如关节角度和末端执行器位姿），仅仅针对特定机械臂及机器人基座安装位置才有明确的定义。相反的是，UMI需要在多样化的环境中收集数据，并且泛化到多种机器人具身形态。

在接下来的章节中，我们将介绍三种应对这些挑战的策略接口设计。

PD1.推理阶段时延匹配

虽然UMI的策略界面假设同步的观察流和即时执行动作，但物理机器人系统并不符合这一假设。如果处理不当，训练与测试阶段的时序不匹配会导致动态操作任务性能大幅下降，这类任务需要快速运动与精准手眼协调，相关验证见第 V-B 节。本文中，我们分别在观测端与动作端处理时序偏差：

PD1.1观测时延匹配

在实际机器人系统中，不同的观测数据流（RGB图像，末端执行器位姿，夹爪开度）由分布式微控制器采集，会产生不同的观测时延。

对于每个观测流。我们分别测量其时延（详见附录A1-A3）。在推理阶段，我们对齐所有的观测数据到时延最大的数据流（通常是相机）。具体而言，我们首先将RGB相机观测数据在时间上下采样到所需频率（通常位10-20hz），再利用每张图像采集的时间戳对夹爪与机器人感知数据流进行线性插值。在双手操作系统中，我们通过查找最邻近帧对两个相机进行软同步，最大的时间偏差不超过1/60s。最终得到符合UMI策略的一系列同步观测。

PD1.2动作时延匹配

UMI策略将输出设定为同步的末端执行器位姿与夹爪开度。然而，在实际中，机械臂与夹爪在跟踪目标位姿序列时会存在执行时延，而且该时延随着机器人硬件的不同而变化。为确保机器人与夹爪在策略指定的时刻到达目标位姿，我们需要提前发送指令补偿执行时延。执行时延的标定细节详见附录 A4。

在执行过程，UMI策略从观测的最后时刻开始预测动作序列。前几个动作因为观测延迟，策略推理延时以及执行时延会立刻失效。我们直接丢弃这些已经失效的动作，仅仅针对各个硬件执行目标时间戳晚于的动作。

PD2.相对末端执行器

末端执行器（EE）位姿是 UMI 观测空间与动作空间的核心。去避免依赖特定具身形态或部署场景，我们将所有末端执行器位姿以夹爪当前的末端执行器位姿为基准进行相对表示。

PD2.1采用相对末端执行器轨迹作为动作表示

以前研究表明，动作空间的选取对任务性能有显著影响，实验证据更倾向于使用绝对位置动作而非增量动作。然而，我们发现相对轨迹表示能让系统在数据采集过程中对跟踪误差和相机偏移更具鲁棒性。该表示方式针对从时刻开始的动作序列进行定义：将时刻的目标位姿表示为相对于初始时刻末端执行器位姿的一组 SE (3) 变换序列。

PD2.2相对末端执行器轨迹作为本体感知信息

同样地，我们将历史末端执行器位姿的本体感知信息表示为相对轨迹。当观测时域设为 2 时，该表示方式能有效地为策略提供速度信息。结合腕部摄像头的观测空间，相对轨迹使我们的系统实现免校准。只要物体仍在可触及范围内，执行过程中移动机器人基座不会影响任务性能（图 10 (a)），这使得 UMI 框架同样适用于移动操作机器人。

PD2.3相对夹爪间本体感受

在双手操作场景下使用 UMI 时，我们发现为策略提供两个夹爪之间的相对位姿，对于双手协调与任务完成至关重要。当两个相机之间的视觉重叠区域较小时，夹爪间本体感知的作用尤为显著。夹爪间本体感知的实现，得益于我们采用的先建图再重定位数据采集方案，该方案通过 HD4 中所述方法构建场景级全局坐标系。每个新场景，我们首先收集一段视频，构建该场景的地图。随后在该场景中采集的所有演示数据都会重定位到同一张地图上，从而共享同一坐标系。尽管来自每个夹爪的视频是分别重定位的，但每一时刻两个夹爪之间的相对位姿均可通过它们共享的坐标系计算得出。

4.评估

在本实验中，我们旨在从三个方面评估 UMI 框架在可部署策略学习上的有效性：

• 能力：我们能否将 UMI 演示数据有效迁移为机器人策略？尤其针对复杂、动态、双手操作以及长时序操作技能。
• 泛化性：在多样化真实环境中采集的数据，能否帮助策略泛化到未见过的环境与物体？
• 数据采集效率：使用 UMI 采集操作数据的速度如何？SLAM 系统的定位精度是多少？

为了获取能力和泛化，我们在4个真实世界机器人任务中评估UMI，涵盖狭域和野外环境，如图7所示。为了衡量数据收集效率，我们比较了UMI夹持器与人手演示及典型远程操作接口。详见B节了解详细的数据收集协议。

5.能力实验

我们通过四项任务研究了 UMI 在采集与迁移单手、双手、动态及长时序操作技能方面的能力。在能力实验中，所有任务均在与数据采集相同的环境内进行评估，但机器人与物体的初始状态会随机化。为保证对比公平，所有方法均采用完全相同的机器人与物体初始状态，通过将场景与预先录制的图像手动对齐实现。详细的评估方案与所有实验视频见附录 C。

A.杯子摆放任务

任务：将一杯意式咖啡杯放置在杯碟上，并使杯柄朝向机器人左侧，如图 7 所示。我们将任务成功定义为：咖啡杯竖直放置在杯碟上，且杯柄朝向左侧的偏差在 ±15° 以内。

能力：该任务测试系统同时学习夹持类动作（拾取与放置）与非夹持类动作（如通过推动调整杯子朝向）的能力。当手柄正对机器人时，两个同样有效的解：顺时针旋转和逆时针旋转，形成多模态作用分布。该任务还测试UMI通过单眼摄像头观察和侧镜感知相对深度的能力。

实验性能：训练数据集包含2位示范者收集的305集，评估包含20个测试用例，测试初始状态分布见图8（a）。UMI能完成任务，20/20。接下来的段落将讨论我们围绕关键设计决策所做的消融研究。

跨机器人泛化能力：为验证 UMI 的跨具身形态泛化能力，我们将同一策略权重模型部署在了 Franka Emika FR2 机器人上，如图 1 与图 8 所示。本次实验成功率为 18/20，即 90%。两处失败均为关节角度超出限位导致，若更换 FR2 机器人的安装位置，这类问题即可避免。

无鱼眼镜头方案（HD2）：为验证大视场鱼眼镜头的重要性，我们对数据集进行后处理，将每张图像矫正、裁剪为水平与垂直视场均为 69° 的方形画面。该参数与 RealSense D415 相机（水平视场 69°、垂直视场 42°）、苹果手机广角镜头（水平视场 69°、垂直视场 51°）参数相近。该对照方案任务成功率仅为 11/20，即 55%。除杯子超出相机视野这类预期失败情况外，我们发现即便物体处于可视范围内，该基线策略表现依旧极差，运动频繁抖动。我们推测，训练阶段物体观测视野受限，迫使策略学习出不必要的多模态动作分布，从而导致性能下降。

替代动作空间：除本文采用的相对轨迹动作表示外，我们还对比了绝对动作空间与增量动作空间，如图 6 所示。由于 SLAM 系统输出的位姿均相对于建图视频第一帧（详见附录 D），因此我们只能通过 SLAM 输出直接计算相对动作与增量动作。若要计算机器人基座坐标系下的绝对动作，需要以桌面布置的同一组基准标记物 [16]，分别对 SLAM 坐标系与机器人坐标系进行联合标定。

增量动作基线方案成功率为 16/20，即 80%。绝对动作基线方案表现极差，仅取得 5/20、25% 的成功率，动作选择存在明显偏差，这大概率是 SLAM 坐标系与机器人基座坐标系之间标定误差导致（见图 8 (b)）。尽管理论上只要标定精度提升，该基线性能便可逼近相对轨迹方案，但本实验充分说明：即便在受控实验室环境下，获取高精度绝对坐标动作数据依旧十分困难。

侧镜影响（HD3）：出乎意料的是，直接输入镜面图像反而会使性能下降：无镜像时成功率为 18/20（90%），直接使用原图镜像后仅为 17/20（85%）。想要充分发挥侧镜作用，需要对镜面内画面做数字镜像翻转，并交换左右镜像图像，此时任务成功率可达 20/20（100%）。我们推测，未经数字翻转处理时，主画面与镜面画面呈现相反运动规律，容易混淆视觉编码器，尤其是具备平移等变特性的编码器。

B.动态抛掷

任务：机器人需要将桌面上随机摆放的 6 个 YCB 数据集物体 ，通过抛掷方式分类投入对应收纳盒。其中 3 个球形物体（棒球、橙子、苹果）投入圆形收纳盒，3 块乐高得宝积木投入方形收纳盒（图 7）。收纳盒均布置在机器人运动可达范围之外，以此凸显该任务必须依靠动态动作才能完成。

能力：机器人需要将桌面上随机摆放的 6 个 YCB 数据集物体，通过抛掷方式分类投入对应收纳盒。其中 3 个球形物体（棒球、橙子、苹果）投入圆形收纳盒，3 块乐高得宝积木投入方形收纳盒（图 7）。收纳盒均布置在机器人运动可达范围之外，以此凸显该任务必须依靠动态动作才能完成。

实验表现：我们为该任务采集了 280 条演示轨迹，包含多物体、单物体混合抓取与抛掷动作。本文策略（搭载推理时延匹配模块）按成功投入对应收纳盒的物体数量统计，成功率为 105/120，即 87.5%。

无时延匹配方案：使用同一训练完成的策略，将所有观测与动作数据流的实测时延设置为 0，关闭推理阶段时延匹配功能。肉眼可见，由于观测与执行不同步，策略运动抖动现象显著加剧。这种抖动对抓取动作影响较小，但会严重干扰机器人达到目标抛掷速度，显著降低抛掷效果，如图 8 肘关节速度曲线所示。此外，夹爪与机械臂动作存在执行时延差异，导致二者时序不匹配，使物体抛掷时释放时机不理想。最终任务成功率下降至 69/120，即 57.5%。

C.双手布折叠

任务：两只机械臂相互配合，将毛衣袖口向内折叠、下摆向上翻折，整体旋转 90°，最后再将毛衣对折一次（图 7）。详细评估流程见附录 C。

能力：高自由度柔性物体动力学复杂、驱动欠约束，因此操控难度极高。除此之外，该任务还要求双臂高精度协同配合。例如抬起毛衣下摆时，两只机械臂必须同步抓取；任意一侧手臂动作稍快或稍慢，该步骤就会失败。

实验表现：我们收集了两名示范者的250个演示，初始状态随机，方法是平移/旋转衬衫并折叠袖子。我们使用单一的集中策略来生成机械臂和抓取器的动作。我们的政策实现了14/20 = 70%的成功率。

无夹爪间相对本体感知：在训练与评估阶段均不输入夹爪间相对位姿信息时，双臂协同效果会大幅下降。最典型的失败场景为双臂抓取抬起毛衣下摆时，基线策略常会因抓取动作不同步而漏掉其中一侧抓取（图 8 (b)）。最终该基线策略成功率仅为 6/20，即 30%。与之相比，UMI 策略会先让双臂到达预抓取位姿，等待两侧均就位后再同步执行抓取与折叠动作，以此实现抓取时序同步。

D.洗盘子

任务：机器人需要完成7 步时序关联操作（打开水龙头、抓取餐盘、拿起海绵、擦洗餐盘直至清除番茄酱、放回餐盘、归位海绵、关闭水龙头），如图 7 所示。详细评估方案见附录 C。

能力：该任务从多个维度拓展了机器人操作能力的上限：1）这是超长时序任务，每一步操作是否成功都高度依赖上一步结果；2）机器人需要感知并操控复杂流体，包括牛顿流体（水）与非牛顿流体（番茄酱）；3）擦拭动作需要使用柔性工具（海绵），同时结合水流状态完成双臂协同操作；4）操控受约束铰接物体（开关水龙头），需要柔性指尖提供柔顺力学响应；5）策略还需要对 “洁净程度” 具备语义鲁棒性：若清洗过程中甚至清洗完成后新增番茄酱，机器人能够继续执行清洗擦拭动作。

实验表现：仅一名演示人员便采集了 258 条包含随机初始状态的演示数据，变量涵盖番茄酱分布形态、餐盘与海绵位置、水龙头开合角度。数据集同时包含番茄酱额外滴落时，机器人对应的故障恢复动作演示。本任务采用微调 CLIP 预训练 ViT-B/16 视觉编码器，训练扩散策略模型。整体来看，UMI 任务成功率为 14/20，即 70%。此外，我们验证了策略对各类干扰物、不同酱料（芥末酱、巧克力酱、焦糖糖浆）以及环境扰动均具备良好鲁棒性，详情见图 10 及项目官网实验视频。

未使用CLIP预训练ViT视觉编码器：

针对这项视觉复杂度极高的任务，我们发现从零开始训练ResNet-34网络效果远远不足。 具体而言，采用ResNet-34的基线策略学习到的动作缺乏动态响应，会忽略餐盘、海绵的位置变化，最终完全无法完成任务，成功率0/10，即0%。

6.真实场景泛化实验

以往行为克隆相关研究，通常仅在与数据采集完全一致的环境中开展评估，这类方法往往受限于无法采集足够多样化数据集，难以实现泛化能力。UMI 无需依靠真实机器人遥操作采集数据，能够在任意场景下低成本收集野外真实数据，我们将这类数据称为开放式场景数据。

我们将第五章 A 节的杯子摆放任务拓展至全新环境与全新物体，以此验证 UMI 生成具备泛化能力视觉运动策略的性能。3 名演示人员仅耗时 12 人时，就在家庭、办公室、餐厅、户外等 30 个多样化真实场景中，采集了 1400 条杯子摆放任务演示数据。演示所用杯子共 15 个浓缩咖啡杯，涵盖不同颜色、外形（圆柱形、锥形）与材质（陶瓷、玻璃、金属）。为保障模型性能，我们将视觉编码器升级为 CLIP 预训练 ViT-L/14 模型。我们在两类从未见过的全新环境中对 UMI 策略进行测试（图 9 第一列）

• 咖啡桌是位于繁忙咖啡馆户外座位区的一张金属桌子，众多行人自然成为分散注意力的因素。我们在训练组测试了5个杯子，测试了2个测试（未见过的）杯子，每个杯子有5个初始体式，总共35个实验。
• 喷泉是一种黑色立方体喷泉，中心不断流淌一层薄薄的水膜，覆盖整个顶部表面。由于我们所有的演示都收集在非黑色表格上，更不用说水存在导致的表面动力学变化，这种环境分布明显偏离分布范围。我们测试了3个训练杯和2个测试杯，每个体式有5个初始体式，总共25个实验。

我们挑选了两款测试杯子：一款颜色属于分布外类别（深蓝色），另一款拥有从未见过的纹理（棕色环状花纹）。每组测试中，我们都会改变杯子与杯碟的初始摆放姿态。

我们的UMI政策是训练杯的28/40 = 70%，测试杯的15/20 = 75%，综合成功率为43/60 = 71.7%。更定性和定量的结果见图9。

无野外真实场景数据。为验证模型泛化能力来源于开放式场景数据，而非预训练视觉骨干网络，我们使用同一实验室受限场景数据（第五章 A 节所述）、搭配相同预训练 ViT 视觉骨干，重新训练了对照模型。在相同的未知新环境中（见图 9 (b)），该基线策略机器人甚至不会主动靠近杯子，最终任务成功率为 0%。

结论总结：该结果表明，仅使用窄域数据微调大预训练模型，不足以得到可在真实野外场景部署的机器人策略。因此，采集多样化的开放式真实场景数据，对于模型适配全新环境与未知物体、实现有效泛化依然至关重要。

7.数据采集采集效率与准确率

采集效率。相较于传统遥操作方式，UMI 人机工效更合理、操作更直观，大幅提升了数据采集效率。为验证这一优势，我们统计同一操作人员在 15 分钟内，采用三种不同方式可采集的演示轨迹数量（图 11）：1）人手直接演示2）UMI 夹爪演示3）基于太空鼠标的遥操作（诸多示教学习研究通用的经典遥操作交互方式）我们在杯子摆放、动态抛掷两项任务上分别测算数据采集效率。本次实验同步计入环境复位、物体随机摆放、机器人故障处理（如自身碰撞）耗时，以此精准还原真实场景下的数据采集效率。

在杯子摆放任务中，UMI 夹爪采集速度是遥操作方式的3 倍以上，达到人手演示速度的 48%，如图 11 (d) 所示。由于人手可以直接接触物体，环境复位与场景随机化速度远快于其他方式。在动态抛掷任务中，UMI 夹爪采集速度为人手演示的 64%，而遥操作方式在 15 分钟内未能完成一次有效成功演示。

准确率。为独立评估基于 SLAM 的追踪系统精度，我们结合动作捕捉真值数据构建了 SLAM 基准数据集。该数据集包含 7 项单夹爪任务与 7 项双臂协同任务，场景内均存在各类可移动物体，同时记录自然、快速的人手运动轨迹。如图 12 所示，本文 SLAM 系统位置平均绝对轨迹误差（ATE）为 6.1 毫米，旋转角度误差为 3.5°。由于双夹爪共用同一幅地图完成定位，我们可直接计算双夹爪间相对位姿（即夹爪间位姿 PD2.3）。双臂夹爪间平均相对位姿误差（RPE）：位置误差 10.1 毫米，角度误差 0.8°。

8.局限性与未来展望

尽管 UMI 在大量任务与场景中均展现出优异的策略性能，但仍存在若干不足之处。

首先，数据采集阶段无法预知下游部署机器人自身的运动学约束，因此本文依靠数据筛选方式，保障最终训练策略符合机器人运动执行要求。未来研究可构建适配机器人本体特性的策略学习框架，实现从合法但硬件无法执行的动作中迁移机器人操作技能。

其次，我们基于SLAM的动作恢复系统继承了视觉SLAM对环境中足够纹理的需求。未来的作品可以利用静态第三人称视角摄像机，结合UMI抓钩上的额外标记，即使在缺乏纹理的环境中，如纯白墙壁的房间也能恢复动作。

第三，如第七章所示，使用 UMI 夹爪采集数据的效率仍低于人手直接示教。一方面原因是夹爪自重较大、结构笨重，另一方面是其自由度远低于人类手部。未来研究可选用轻量化材料，进一步优化 UMI 夹爪的机械结构与人机工学设计；也可以研发高性能灵巧机械手与对应策略，实现人类动作向机器人动作的直接迁移。

9.结论

本文提出 ** 通用操作接口（UMI）** 框架，该框架可直接从真实场景下的人类示教数据中，学习高性能、高泛化能力的机器人操作策略。手持示教设备 UMI 夹爪能够采集足量信息，用以学习各类高难度操作任务，包括餐具清洗、双臂折叠衣物、物体动态抛掷与分拣等。同时，UMI 具备便携、低成本、操作简便的特点，十分适合规模化采集开放式场景数据。UMI 将全部感知信息存储为标准化 MP4 视频文件，数据可便捷地通过网络共享，支持大量非专业示教人员跨地域协同采集数据。我们希望借助 UMI 降低机器人数据采集门槛，推动机器人领域构建海量、多样化、分布式的开源数据集。