具身智能数据工程全链路解析：从真实产线采集到LeRobot适配

2026世界机器人大会（WRC 2026）于8月26日在北京亦庄闭幕。大会期间55.7万人次参会、373家企业参展、311款新品首发、44项新技术新方案发布，行业热度空前。但比这些数字更值得技术人员关注的，是闭幕式上组委会免费开放的数千小时运行数据集，以及中国信通院报告中那个刺眼的数字——训练场可用数据占比不足5%。本文不谈产品、不评企业，纯粹从数据工程视角，系统梳理具身智能从真实场景数据采集到模型训练适配的完整技术链路。

一、为什么具身智能的数据问题比大模型更难

大语言模型的训练数据可以从互联网上爬取，图像模型可以用标注好的公开数据集，但具身智能模型需要的是真机操作数据——机器人在物理世界中执行任务时产生的多模态时序数据，包括但不限于RGB-D视频流、关节角度序列、末端执行器位姿、力/力矩传感器读数、触觉信号等。这类数据有三个本质特征：一是必须在物理世界中产生，无法纯合成；二是多模态高度同步，视觉、动作、力觉必须在时间轴上精确对齐；三是场景依赖性极强，同一个动作在不同光照、物料、背景下的数据分布差异巨大。

WRC 2026上一个反复被提及的事实是：展台demo的连续运行时间通常以小时计，而工厂产线要求以千小时计。这种数量级差异的背后，是模型泛化能力和鲁棒性的巨大鸿沟。据央视新闻和中国之声8月27日报道，WRC 2026闭幕式上组委会免费开放了全量数据集，包含数千小时机器人运行数据和上万次动作捕捉记录。但即便如此，相对于行业需求仍是杯水车薪。根据中国信息通信研究院《具身智能训练场研究报告（2026年）》的数据，国内70余个训练场覆盖27城，但可用数据占比不到5%。核心原因在于训练场是受控环境——灯光恒定、物料标准化、背景单一，在此条件下采集的数据与真实产线数据存在明显的域差距（domain gap）。模型在训练场数据上表现再好，部署到真实车间也可能出现严重的性能退化。数据飞轮是解决这一问题的有效路径，凤凰网8月27日报道的灵犀智涌CONWAY加ROSS Harness方案展示了这一思路：运行数据自动采集回流，模型在线更新后再推送到端侧。但飞轮要真正转起来，前提依然是有足够多的高质量真实数据。

中国新闻周刊8月27日的报道指出，行业内50%到70%的人形机器人实际被用于数据采集而非生产。全球开源真机操作数据总量不足1000小时。这些数据揭示了一个冷酷的现实：在硬件本体快速迭代的同时，数据基础设施的建设严重滞后。解决这个问题，需要一套完整的数据工程链路。

二、数据采集：从传统动捕到Ego+UMI轻量化方案

数据采集是整个链路的起点，也是成本最高、技术选择最多的环节。传统方案以光学动作捕捉系统为代表，通过在场景中布置多台红外相机、在机器人和物体上贴反光标记点来获取高精度位姿数据。这类方案的优点是精度高（亚毫米级），缺点同样明显：设备成本通常在数十万到百万元级别；需要专用场地和标定流程；对产线正常生产干扰大；无法采集视觉信息（需要额外同步相机）。综合来看，传统动捕方案更适合实验室研究，难以在真实工厂中大规模部署。

近两年兴起的Ego+UMI方案正在改变这一格局。Ego（Egocentric，第一视角）方案通过在操作者头部或手腕佩戴轻量相机，记录操作者视角下的视觉信息和手部动作。UMI（Universal Manipulation Interface，通用操作接口）是一种手持夹持设备，集成了IMU、相机和可选的力觉传感器，操作者手持UMI执行操作时，设备自动记录末端执行器的6DoF位姿轨迹和夹持器开合状态。这两种方案组合使用时，采集成本仅为传统光学动捕方案的约两百分之一，且无需搭建专用环境，操作者在正常工位上即可完成数据采集。

从数据质量角度看，Ego+UMI方案有几个工程要点需要注意：第一，时间同步。多传感器（头戴相机、腕部相机、UMI IMU、力觉传感器）的数据必须在硬件层面实现时间戳同步，软件层面的后同步精度通常只能达到10-50ms，对于精细操作任务远远不够。建议使用硬件触发信号或PTP（Precision Time Protocol）实现微秒级同步。第二，相机标定。Ego相机的内参和外参需要定期标定，特别是头戴相机在操作过程中可能发生位移，建议在每次采集会话开始前进行一次快速标定。第三，UMI的手眼标定。UMI设备上相机与夹持器之间的外参需要精确标定，否则视觉信息与动作轨迹无法对齐。推荐使用Kalibr或camodocal等工具进行手眼标定。

遥操作（Teleoperation）是另一种重要的数据采集方式。操作者通过主从控制接口（如VR手柄、外骨骼、力矩反馈设备）远程操控机器人执行任务，机器人同步记录传感器数据和控制指令。遥操作的优势在于可以直接获取机器人本体的传感器数据（关节角、力矩等），数据与目标部署平台天然对齐。劣势是采集效率受限于遥操作设备的复杂度和操作者的熟练度，且设备成本仍较高。在实际项目中，Ego+UMI适合快速大规模采集人类操作示范数据，遥操作适合在目标机器人平台上采集精确的跨平台迁移数据，两者互补使用效果最佳。

三、数据清洗：从原始信号到可用样本

原始采集数据不能直接用于训练，必须经过系统化的清洗。真实工厂环境中采集的数据噪声源非常多：工人误碰采集设备导致画面抖动、物料异常导致操作中断、传感器丢包导致时序不连续、环境光照突变导致视觉数据过曝或欠曝。清洗阶段的目标是将这些低质量片段识别并剔除，同时保留有价值的异常处理片段。

具体清洗流程可以分为以下几个步骤。第一步是完整性检查，逐帧检查各传感器数据流是否存在丢包或中断，对于短暂丢包（通常少于5帧）可以采用插值方式补齐，超过阈值的片段标记为不完整并切分。第二步是质量评估，对视觉数据计算模糊度（Laplacian方差）、亮度直方图和遮挡比例，对IMU数据计算加速度和角速度的统计特征，对力觉数据检查是否存在异常尖峰。质量评分低于阈值的片段被标记为低质量。第三步是语义切分，将长时序数据按任务语义切分为独立的操作片段（episode），每个片段对应一个完整的子任务（如"抓取-移动-放置"）。切分可以基于UMI夹持器开合信号、动作段检测算法或人工标注完成。第四步是异常标注，识别操作过程中的错误尝试、修正动作和异常处理过程，这些片段不应该被简单剔除——它们对模型学习失败恢复能力非常有价值，但需要被正确标记，以便在训练中区别对待。

四、数据标注：多模态时序数据的标注方法论

具身智能数据的标注远比2D图像标注复杂。图像标注只需要在平面上画框或描边，而操作数据需要在3D空间中标注物体位姿、手部关键点、接触状态、动作阶段等多维信息，而且这些标注需要贯穿整个时序。

标注体系可以分为三个层级。底层是传感器级标注，包括2D/3D关键点标注、物体6DoF位姿标注、语义分割标注等。这类标注通常需要半自动工具辅助——先用预训练模型（如SAM、Grounding DINO）生成初始标注，再由人工校验和修正。中层是动作级标注，包括动作阶段切分（phase segmentation）、动作基元分类（motion primitive classification）、接触状态标注（接触/未接触、接触点位置）等。这类标注需要标注员理解任务语义，对操作视频进行逐段审视。顶层是任务级标注，包括任务成功/失败判定、失败原因分类、技能标签等。这类标注对于后续的条件策略训练和失败恢复策略学习至关重要。

标注质量控制是另一个工程难点。建议采用"双标注+仲裁"机制：每个样本由两名标注员独立标注，不一致的样本提交给高级标注员仲裁。同时需要定期计算标注员间一致性（Inter-Annotator Agreement），常用指标包括Cohen's Kappa（分类任务）和边界F1（时序切分任务）。对于3D位姿标注等难度较高的任务，建议设计专门的标注UI，提供多视角融合显示和位姿微调工具，降低标注员的认知负荷。

五、数据质检：确保训练数据的分布质量

清洗和标注完成后，还需要进行数据集级别的质量检查。这一步关注的不是单个样本的好坏，而是整个数据集的统计特性是否满足训练需求。

首先是数据多样性分析。统计各维度数据分布，包括操作类型分布、物体类别分布、成功/失败比例、光照条件分布、操作者分布等。如果某个维度的数据量严重不足，需要针对性补采。特别需要关注长尾场景——那些出现频率低但对模型鲁棒性至关重要的情况，如异常物料、设备干扰、操作失误等。其次是数据集偏差检测。检查训练集和验证集之间是否存在系统性分布差异，可以通过训练一个二分类器来判断一个样本来自训练集还是验证集，如果分类准确率远高于随机水平，说明存在明显的数据集偏差，需要重新划分或补充数据。第三是跨域一致性验证。如果同时拥有训练场数据和真实工厂数据，需要分析两者在特征空间中的分布距离（如MMD、FID等指标），确认真实工厂数据确实覆盖了训练场数据无法触达的分布区域。

六、LeRobot框架适配：从数据格式到训练管线

LeRobot是HuggingFace推出的具身智能开源框架，提供了从数据加载、模型训练到策略评估的完整工具链。将自有数据集适配到LeRobot格式是数据工程链路的最后一步。

LeRobot的数据格式基于HDF5和Parquet文件组织。每个episode对应一个HDF5文件，包含以下关键数据组：obs（观测）下分q（关节位置）、qpos（关节位置）、qvel（关节速度）、images（多相机图像）等；action下存储动作序列；meta中存储episode级元数据（任务描述、成功标记、采集时间等）。对于Ego+UMI采集的数据，需要完成以下映射：UMI的6DoF位姿轨迹映射到action组；Ego相机图像存入images组；如果UMI集成了力觉传感器，力/力矩数据存入obs下新增的force_torque组；夹持器开合状态映射为action的最后一维。

适配过程中有几个工程细节值得注意。第一，坐标系统一。LeRobot默认使用机器人基座坐标系，而UMI数据通常以夹持器坐标系或相机坐标系记录，需要通过手眼标定矩阵进行坐标变换，将所有位姿数据统一到同一坐标系下。第二，控制频率对齐。LeRobot常用的控制频率为10Hz到50Hz，而UMI的IMU采样频率可能高达200Hz，相机帧率通常为30fps。需要对高频数据进行降采样或滤波，对低频数据进行插值，确保所有模态在统一频率下对齐。第三，动作归一化。不同任务、不同操作者的动作范围差异很大，建议在数据集级别计算动作的均值和标准差，进行Z-score归一化，并将归一化参数随数据集一起保存，推理时反归一化。第四，数据增强配置。对于视觉观测，可以在LeRobot的配置中启用随机裁剪、颜色抖动、随机背景替换等增强策略，进一步提升模型的泛化能力。

完成格式转换后，建议使用LeRobot提供的数据集可视化工具进行人工抽检，确认数据加载、动作回放和多相机同步均正常。然后可以用一个小规模数据子集跑通训练管线（如ACT或Diffusion Policy），验证loss曲线是否正常收敛，再投入全量数据训练。

七、写在最后：数据工程是具身智能落地的核心基建

WRC 2026让行业看到了机器人本体能力的快速进步——星动纪元M7物流分拣效率达到人工85%、乐聚从POC走向计件交付、原力灵机DM0.5三线并行运行，这些都是实实在在的进展。但从"展台能跑"到"产线稳定运行"之间的鸿沟，本质上是数据鸿沟。据央广网8月27日援引中国电子学会数据，2026上半年中国人形机器人出货超4万台、全球占比97%，工信部数据显示产业营收1655亿元、同比增长24.5%。庞大的硬件出货量需要等量级的数据供给来支撑。

WRC组委会免费开放数千小时数据集是积极信号，但这远远不够。真正可持续的数据供给必须来自真实工厂场景，而让真实工厂数据可规模化采集的前提，是完整、高效、低成本的数据工程链路。从Ego+UMI轻量化采集，到多模态数据清洗、分层标注、分布质检，再到LeRobot等训练框架的标准化适配，每一个环节都需要扎实的工程投入。2027年第三届WRC场景赛项将超过竞技赛项，这意味着行业评价标准正在向真实场景倾斜——到那个时候，谁掌握了高质量的真实场景数据和成熟的数据工程能力，谁才能在具身智能的下半场真正站稳脚跟。