Ego/UMI具身数据采集工程实践：从设备部署到LeRobot数据集交付

人形机器人训练数据的采集成本高、效率低，已经成为制约具身智能规模化落地的核心瓶颈。中国新闻周刊2026年8月27日报道援引行业分析师Georg Stieler的估计，2026年生产的人形机器人中50%-70%首要用途是采集训练数据，而信通院报告显示可用真机数据不足5%、全球开源真机数据累计不到1000小时。与此同时，Dyna Robotics发布的DYNA-2模型使用超过100万小时人类第一视角视频预训练，在零机器人本体数据的条件下展现出强劲的操作泛化能力（新智元，2026年8月25日）；光轮智能与Hugging Face联合开源EgoSuite-Open100K，提供10万小时全模态人类行为数据（新智元/光轮智能官方，2026年8月20日）。这些进展指向一个明确的工程方向：Ego第一视角+UMI手持采集，是当前成本最低、扩展性最强的真实场景数据获取方案。

本文从工程视角系统梳理Ego/UMI数据采集的完整技术链路，包括设备选型与部署、UMI夹具适配、手部检测率质控、VLM自动动作切分、LeRobot Dataset格式转换以及质检Pipeline构建。CSDN/DAMO开发者矩阵2026年8月20日的分析显示，Ego/UMI原始数据采集成本为5-30元/小时，标注后80-200元/小时，综合成本约为整机遥操作（500-1000元/小时）的1/200。理解这套技术链路的实现细节，对于算法团队和数据工程团队都有实际参考价值。

Ego设备选型与现场部署

Ego设备的核心指标包括重量、分辨率、帧率、视场角（FOV）、防抖性能和续航。重量方面，头戴式设备建议控制在150-200克以内，超过250克会导致工人长时间佩戴产生明显不适感，影响正常作业和数据质量。分辨率至少1080p，推荐4K以保留手部细节；帧率建议30fps起步，精细操作场景可采用60fps以捕捉快速手部运动。视场角选择需要权衡：3C电子等精细装配工位建议80-90度偏窄视角，手部区域像素占比更高；仓储物流等大动作场景建议120-140度广角，避免频繁转头导致关键动作出画。

防抖是实际部署中容易被忽视的指标。工人在产线上操作时头部会有自然晃动，没有电子防抖（EIS）的设备在行走或转身时画面会出现明显果冻效应和模糊，严重影响后续光流估计和动作识别。建议选择支持陀螺仪辅助EIS的设备，或在后处理阶段使用ffmpeg的vid.stab滤镜做软件防抖，但软件防抖会裁剪画面边缘约10%-15%，需要在设备选型时预留余量。

部署位置方面，Ego摄像头通常安装在头戴支架前额位置或安全帽帽檐下方。安装角度需要根据工位高度和操作区域进行校准——以工人自然站立或坐姿时的视线水平为基准，向下倾斜15-25度，确保双手主要操作区域位于画面中心偏下位置。校准方法是让工人在工位上保持标准操作姿势，通过手机APP实时预览画面，确认双手操作区域在画面中的占比不低于40%。

音频采集同样重要。Ego视频中的环境音、工具碰撞声、工人之间的口头协作指令，都可以作为多模态模型的辅助信号。建议设备内置或外接全向麦克风，采样率48kHz，同时做好风噪过滤。续航方面，单次连续采集应覆盖至少一个完整工作班次（4-6小时），设备本身续航不足时可外挂充电宝，但需将电源线沿背部固定，避免缠绕工具或工件。

UMI夹具适配与标定

UMI（Universal Manipulation Interface）手持夹具是Ego采集的重要补充。它在一个手持手柄上集成了夹爪、力矩传感器和IMU，工人握持夹具操作时，系统同步记录夹爪开合状态、末端力矩和6轴姿态数据。与纯Ego视频相比，UMI提供了精确的力控和动作状态信号，使训练数据从"只看到怎么做"升级为"同时知道用了多大劲"。

UMI夹具适配的关键问题是工具兼容性。真实产线上工人使用的工具形态各异——电动螺丝刀的手柄是圆柱形的，热风枪是枪柄式的，镊子是细杆状的。UMI夹具需要通过快换接口适配不同工具的末端执行器。工程上通常采用3D打印的定制化转接件，根据每种工具的手柄几何形状设计夹持槽，配合硅胶垫增加摩擦力并保护工具表面。转接件的设计原则是：工人握持时手腕角度与正常使用该工具时保持一致，不能因为装了UMI而改变操作习惯。

标定环节分为两步。第一步是夹爪开合范围标定，记录夹爪从完全张开到完全闭合的PWM值或电流值映射关系，确保采集到的夹爪状态可以被准确还原。第二步是手眼标定，确定UMI夹具坐标系与Ego摄像头坐标系之间的外参矩阵。常用方法是让工人握持UMI夹具在标定板前做一组预设动作（如画S形、方块轨迹），通过视觉标定板检测和夹具位姿记录，用TSAI-LENZ等手眼标定算法求解外参。标定误差建议控制在2mm以内，否则力控数据与视觉数据的空间对齐会出现明显偏差。

数据同步是UMI采集的另一个技术要点。Ego视频的时间戳来自摄像头硬件时钟，UMI的力矩和IMU数据来自微控制器时钟，两者可能存在毫秒级到百毫秒级的偏移。工程实践中，通常采用以下方案：在UMI手柄上加装一个LED指示灯，采集开始时LED闪烁一次，同时在视频中检测闪烁帧、在UMI数据流中检测触发信号，以该时刻为基准进行时间对齐。后续帧按各自帧率插值到统一时间轴，推荐统一为30Hz或60Hz。

手部检测率质控：MediaPipe实时流水线

数据质控是Ego采集中最容易被低估的环节。工人在操作过程中，手部可能因为转身、取放身后物料、袖子下滑等原因离开画面或被遮挡。如果不做实时质控，采回来的视频可能有大量片段不含有效手部操作，浪费存储和标注资源。

核心质控指标是手部检测率（Hand Detection Rate, HDR），定义为一段视频中成功检测到至少一只手部关键点的帧数占总帧数的比例。工程实现上，采用Google MediaPipe Hands模型在采集端做实时推理。MediaPipe Hands在移动端和边缘设备上可以达到30fps以上的推理速度，21个手部关键点的检测精度在大多数场景下满足质控需求。

实时质控流水线的架构如下：Ego摄像头的视频流通过RTSP或USB传输到现场工控机或手机端，MediaPipe Hands以每5帧采样1帧的频率做手部检测（降低算力开销），检测结果维护一个滑动窗口统计最近30秒的HDR值。当HDR低于50%时，系统通过头戴设备上的震动马达或语音提示提醒工人调整头部角度或操作位置，同时该片段被标记为"低质量"并记录起止时间。如果连续3个窗口HDR低于50%，则判定为采集异常，自动暂停录制并通知现场技术人员介入。

除了手部检测率，质控流水线还包括以下检查项：画面模糊检测（使用Laplacian方差，低于阈值100判定为模糊）、过曝/欠曝检测（直方图分析）、摄像头遮挡检测（画面中心区域方差异常低）。这些检查项与HDR一起，构成多维度实时质量评估。所有低质量片段的元数据（起止时间、异常类型、HDR值）写入JSON Sidecar文件，供后期处理使用。

操作规程层面的质控措施同样重要。要求工人将袖口卷至肘部以上，避免宽松衣袖遮挡手腕和手背；长发工人需将头发束好，防止散落遮挡镜头；操作时尽量保持双手在胸前至腰部范围内活动，减少手臂完全伸出画面的情况。这些措施配合技术质控，通常可以将良品率从60%左右提升到85%以上。

VLM自动动作切分与标注

原始Ego视频通常是连续数小时的长录像，需要切分为有意义的动作片段（Episode），并标注每个片段的任务类型、工具使用、物体交互等信息。传统做法是人工观看视频逐帧切分，耗时约为视频时长的3-5倍，成本极高。基于视觉语言模型（VLM）的自动标注可以将这一过程大幅提效。

动作切分的技术思路是：先将长视频按固定窗口（如2秒/片段）提取关键帧，然后送入VLM（如GPT-4V、Qwen-VL等）进行场景理解，输出每个窗口的动作描述文本。接着基于文本相似度或动作状态变化，将连续的窗口合并为语义完整的动作片段。例如，一个"拿螺丝刀—对准螺丝—拧紧—放下"的序列，VLM可以识别出四个子动作之间的状态转换点，自动确定切分边界。火山引擎官方2026年8月27日的数据显示，其VLM自动标注在动作切分、工具识别、工序分类等任务上的准确率可达90%以上。

具体实现中，Prompt设计是影响切分质量的关键。一个有效的Prompt模板通常包含：任务背景描述（如"这是一段3C电子装配线的第一视角操作视频"）、输出格式要求（JSON结构，包含action_description、start_time、end_time、tools_used、objects_involved字段）、以及few-shot示例。为了提高边界检测精度，可以在VLM输出的基础上叠加视觉信号分析——检测手部位置的突变、夹爪状态的变化、或者场景中物体的移动，用这些多模态信号对VLM切分边界做微调。

标注内容的层次结构建议分三级：L1级标注任务类别（如"螺丝拧紧""线缆插接""零件搬运"），L2级标注工具和物体（如"十字螺丝刀M3""红色导线""PCB板"），L3级标注细粒度动作属性（如"拧紧力矩约0.5N·m""插接方向为水平插入"）。L1和L2可以由VLM自动完成，L3需要人工审核或力控数据辅助。自动标注结果统一经过人工抽检（抽检比例约10%-20%），准确率低于阈值的批次退回重标。

LeRobot Dataset格式转换与质检Pipeline

标注完成后，数据需要转换为算法团队可直接使用的数据集格式。LeRobot是Hugging Face推出的具身智能数据框架，其Dataset格式基于Parquet和WebDataset，支持高效的数据加载和多模态存储。转换过程的核心是将Ego视频帧、UMI力矩数据、手部关键点、动作标注等异构数据统一对齐到时间轴，并组织为LeRobot要求的目录结构。

LeRobot Dataset的标准目录结构包括：data目录存放Parquet格式的状态-动作序列文件，videos目录存放编码后的视频片段（通常用H.264编码为MP4），meta目录存放数据集元数据（episodes.jsonl、info.json、tasks.jsonl等）。每个Episode对应一个完整的动作片段，包含从起始状态到任务完成的所有帧。状态数据包括末端执行器位姿、夹爪开合状态、力矩传感器读数等；动作数据包括下一帧的控制指令；观测数据包括Ego摄像头图像和可选的第三人称图像。

格式转换的关键步骤包括：时间对齐（将视频帧、IMU、力矩数据统一重采样到相同频率）、坐标系统一（将UMI夹具坐标系下的位姿通过手眼标定外参转换到机器人基座坐标系或世界坐标系）、归一化处理（对力矩和位置数据做z-score归一化，记录统计量用于推理时反归一化）、视频编码（将切分后的原始视频片段用GPU加速的NVENC编码为H.264，码率控制在5-10Mbps以平衡画质和存储）。

质检Pipeline在格式转换完成后自动运行，包含以下检查项。结构完整性检查：验证目录结构是否符合LeRobot规范，所有引用的文件是否存在，Parquet文件的schema是否正确。时间一致性检查：验证每个Episode内各模态数据的时间戳是否单调递增且间距均匀，视频帧数与状态数据条数是否匹配。数值有效性检查：检测力矩数据是否有NaN/Inf值，夹爪状态是否在标定范围内，位姿数据是否有突变（相邻帧位移超过阈值5cm标记为异常）。视觉质量检查：对每个Episode抽取首帧、中间帧、末帧，用MediaPipe再次验证手部可见率，用CLIP计算帧间特征距离检测画面跳变。标注一致性检查：用VLM对随机抽取的5% Episode重新做动作描述，与原始标注文本做语义相似度比对，相似度低于0.8的触发人工复核。

质检结果生成一份HTML格式的报告，包含数据集统计信息（Episode总数、总时长、任务类型分布、工具使用分布）、异常项清单和建议处理方式。所有未通过质检的Episode被标记为"rejected"或"needs_review"，不进入最终交付的数据集版本。通过质检的数据版本用DVC（Data Version Control）管理，确保每次交付的数据集可追溯、可复现。

工程总结与性能参考

从工程实践来看，一套成熟的Ego/UMI数据采集Pipeline的典型性能指标如下：单工位部署时间30-60分钟（含设备安装、角度校准、UMI标定），工人培训时长约30分钟，实时质检对采集设备的额外算力开销控制在15%以内，VLM自动标注吞吐量约为视频时长的0.3-0.5倍（即标注1小时视频需18-30分钟GPU时间），端到端从采集到LeRobot格式交付周期约1-2周，最终数据集良品率85%-90%。

需要强调的是，Ego/UMI入厂采集并非要取代整机遥操作或训练场仿真，而是与之形成互补。训练场擅长在可控环境中积累基础能力数据，整机遥操作擅长获取精确的机器人本体状态-动作对，而Ego/UMI入厂采集的核心价值在于以极低边际成本获取真实场景下大规模、高多样性的人类操作数据。Handelsblatt 2026年7月17日报道（wiot-group.com 2026年8月26日跟进）显示Tesla柏林工厂工人已佩戴摄像头采集Optimus训练数据，Tesla Q2 2026 Update确认Fremont工厂设立Optimus Academy——这些产业实践进一步验证了Ego入厂采集的工程可行性。

随着DYNA-2等模型证明Ego数据的Scaling Law成立，以及EgoSuite-Open100K等开源数据集降低社区使用门槛，Ego/UMI数据采集的工程化和标准化将成为具身智能基础设施建设的重要方向。对于数据工程团队而言，尽早建立从设备部署、实时质控到自动标注、格式交付的全链路能力，将在这一轮数据基础设施建设中占据先机。