今天，我们正式开源 UMI ver.2 —— 面向双臂机器人的毫米级高精度数据采集手持系统。

以定位更准、成本更低、部署更快、数据更稳的全栈能力，把专业级动捕采集，从“高不可攀”变成“开箱即用”。

为什么我们要做 UMI ver.2？

在具身智能与模仿学习落地中，高质量示范数据决定模型上限。

传统方案却处处是门槛：

• 专业动捕设备动辄数万元，小团队与实验室难以承担

• 普通方案定位误差厘米级甚至更高，精细任务完全无法训练

• 部署调试动辄半天到一天，流程繁琐、环境苛刻

为此，穹明智能推出 UMI ver.2，用数据+真实案例说话，彻底打破成本与精度壁垒。

UMI ver.2 核心应用场景

1. 机器人模仿学习示范数据采集

     一次示范即可复现抓取、开箱、拧螺丝、装配等动作，复现误差＜1mm。

2. 具身智能算法训练

     同步输出视觉 + 位姿 + 夹爪三模态数据，支撑Diffusion Policy、Pi 0.5 等前沿模型训练。

3. 双臂精细操作验证

     毫米级定位满足精密插接、小件组装等高要求任务。

4. 高校科研与教学实验30 分钟快速搭建

     一整套设备成本不到3000 元，实验室可批量部署。

5. 工业快速验证

     无需产线改造，1 小时完成流程验证，大幅降低研发迭代成本。

UMI ver.2：硬核数据支撑三大优势

1. 毫米级定位精度，误差低至 ＜0.5mm

采用 HTC Vive Tracker 3.0 + 双基站 1.0 红外光学定位：

• 空间定位精度：±0.1mm～±0.5mm

• 姿态重复精度：＜0.1°

• 有效采集范围：最大5m×5m

• 采样频率：30Hz 同步采集，轨迹无丢点、无漂移

2. 极致性价比，整机成本不到3000元

相比传统动捕方案节省90%以上成本，全套硬件透明可采购：

• 鱼眼相机：180°大视角，1440×1080@30Hz

• 定位模块：Tracker 3.0 + 双基站，7米内稳定定位

• 夹爪模块：ESP32‑S3 + 滑动电位器，实时采集开合度

3. 部署效率大幅提升：30分钟全流程跑通

• 环境配置：10分钟完成依赖与环境安装

• 基站部署：5分钟完成安装与配对

• 定位校准：3分钟完成空间校准

• 数据采集：1分钟启动录制，即开即用

• 训练推理：标准化 HDF5 格式，兼容LeRobot等主流框架

30 分钟快速上手

1. 基站部署

基站视角：基站的水平视场为 150 度，垂直视场为 110 度。为了最大限度地扩大操作区，请将基站安装在高于头部的位置（距地面的距离最好大于 2 米 或 6.5 英尺），并将各基站的角度调整为 25 度到 35 度之间。（视角如下图所示）

两个基站：所需的最小操作区域为 2 米 x 1.5 米（6 英尺 6 英寸 x 5 英尺），最大可达 5 米 x 5 米（16 英尺 5 英寸 x 16 英尺 5 英寸）

第一次使用定位基站，需要手动设定定位基站的频道。按背后的按键，一个基站设置成B，另一个设置成C（看正面左下角的绿色指示灯）

1. 状态指示灯 2. 前面板 3. 通道指示灯（嵌入式）4. 电源接口

5. 通道按钮 6. 同步线缆接口（选配）7. Micro‑USB 接口（用于固件升级）

1. 配对定位器和无线接收器（初次使用）

第一次使用UMI，需要将它的定位器与无线接收器配对。配对完成之后接收器可以直接接电脑，无需再使用接收器底座。

1. 将 USB Type-C 数据线的一端连接到接收器底座，然后将无线信号接收器插入底座。

2. 将 USB Type-C 数据线的另一端连接到电脑上的 USB 端口。无线信号接收器与电脑的距离至少应有 45 厘米，并且应放在不会移动的位置，具体连接如下图所示。

   

3. 完成连接后开始进行配对：先要安装STEAM软件

4. 在 Windows 系统上，打开 SteamVR 应用程序。

5. 单击: 设备 > 配对控制器。

6. 在选择您的控制器类型一项中选择HTC Vive 追踪器。

7. 长按电源按钮2秒开启定位标签，此时定位标签显示常亮蓝灯，再次按住电源按钮约 2 秒钟，状态指示灯将闪烁蓝色。

8. 等待状态指示灯变为绿色。这表示配对已成功。

9. 在控制器配对窗口中，单击完成。

1. 绑定定位器设备

cd third_party_lib/libsurvive-master
sudo cp ./useful_files/81-vive.rules /etc/udev/rules.d/
sudo udevadm control --reload-rules && sudo udevadm trigger # 执行完这步后，如电脑上插有无线接收器请将其拔插一遍。

1. 定位校准

使用定位基站对定位标签进行校准的目的是为了获取定位标签在三维空间的绝对坐标值。定位基站通过发射接收红外光来进行校准。

cd libsurvive
./bin/survive-cli

显示了定位标签的误差（单位/米），看到终端输出该信息，就可以将校准程序关掉了，这里使用Ctrl+C就能将其关闭。在/root/user/.config/libsurvive下找到config.json，将它移动到项目根目录下。

1. 数据采集

进入项目根目录，运行：

conda activate umi_record

python scripts/record/record_umi.py \
    --camera-device-id 1 \
    --config-path config.json \
    --sample-hz 30

• camera-device-id：umi鱼眼相机的相机id，可通过⬇️可视化

  python scripts/vis/vis_opencv_cam.py \
      --camera-device 0 \
      --camera-width 1080 \
      --camera-height 640 \
      --camera-fps 30

• config-path：pysurvive执行校准后的配置文件。

1. 可视化轨迹

python scripts/vis/vis_hdf5.py data/2026_04_10_2.hdf5 --realtime

1. 训练

参考 scripts/training/TRAIN_UMI_DIFFUSION_POLICY.md

conda activate umi_train_infer
nohup python third_party_lib/universal_manipulation_interface-main/train.py \
  --config-name=train_diffusion_unet_timm_umi_workspace \
  task=umi_hdf5 \
  task.dataset_dir=/root/autodl-tmp/data \
  hydra.run.dir=/root/autodl-tmp/UMI/outputs/umi_hdf5_run1 > train_log.log &

参考文件：

• dataloader：umi_hdf5_dataset.py

• config:

  • train_diffusion_unet_timm_umi_workspace.yaml

  • umi_hdf5.yaml

1. 推理验证 (用户自己实现)

执行（下面为在Openarm上部署）：

python scripts/eval/eval_openarm_umi.py \
    --input outputs/umi_hdf5_run2/checkpoints/latest.ckpt \
    --urdf-path src/kinematics/description/openarm/urdf/openarm_bimanual.urdf \
    --camera-device 1 \
    --side left \
    --robot-id my_openarm_umi_left2 \
    --port can1

• input：训练权重

• urdf-path：进行逆解的urdf文件夹

• camera-device：机器人末端相机id

写在最后

UMI ver.2 开源，是为了让高精度机器人数据采集不再昂贵、不再复杂。

用不到3000元成本、毫米级定位、30分钟部署，让每一个开发者、实验室、企业都能快速搭建属于自己的具身智能数据平台。

我们将持续迭代优化，期待你的 Star、PR 与反馈，一起让机器人更懂现实、更会操作！

项目地址：

https://github.com/qiongming-intelligence/UMI

https://gitee.com/QiongMing-Intelligent/UMI