一名采集员戴好采集设备,走进厨房,拿起水杯、打开水壶、缓缓倒水,再将注好水的杯子放到桌面上。

几分钟后,生成一段第一视角视频,但对具身智能数据项目而言,工作才刚刚开始。

这段视频对应什么任务?杯子最初在哪里?关键接触动作是否拍清楚?其他传感器与画面能否对齐?任务有没有成功?数据经过哪些处理?交付后,使用方能不能顺利读取?

这些问题决定了它能否成为一条可用的数据。

具身EGO数据采集的核心,是将真实交互过程转化为有结构、可追溯、可验收的数据。

本文以人类佩戴设备完成操作任务的第一视角采集为主线,拆解从场景设计到交付的完整流程。机器人遥操作数据交付不适用该标准,需额外记录机器人状态、控制指令等信息。

以下为项目执行框架,具体传感器配置、质量阈值和标注粒度,应根据数据用途确定。

从用途出发,先定义“要交付什么”

项目开始时,最容易出现的一种需求是:“我们需要一批厨房、收纳和清洁场景的数据,越丰富越好。”这句话能够点明大致方向,却不足以具体指导采集工作的开展。

正式执行前,需要把需求拆成三个问题。

  • 数据用于什么任务?

是识别动作、理解任务步骤、学习手与物体的交互,还是辅助机器人学习操作?

用途不同,对画面呈现、动作记录和标注的要求也会相应不同。尤其要明确:人类第一视角视频可以提供视觉与行为信息,但不会天然包含机器人可执行的控制指令。

  • 一条数据以什么为单位?

可以是一段连续活动,也可以是一次有明确起点和终点的任务尝试。

例如,“整理厨房”可以持续很久;“将桌上的杯子放入指定柜格”则可以定义成一个独立任务片段,以下简称 episode。

  • 验收以什么为依据?

需提前确定:

  • 必需的数据模态及文件格式;

  • 任务起止和成败判定规则;

  • 关键动作的可见性要求;

  • 标注字段与时间粒度;

  • 隐私处理、数据使用权限和交付范围。

这一阶段的产出,应是一份需求规格和一份样例交付包。先验证样例能否被使用方读取、理解,再扩大采集规模。

场景设计:把“厨房”拆成可执行任务

场景是任务载体,真正指导采集的是任务目标、初始状态、操作对象、完成条件。以“把杯子放进柜子”为例,任务卡至少需明确:

任务卡应明确约束目标与必要条件,为自然操作预留空间,无特殊要求不必固定每一步手势与速度。

接下来建立场景覆盖表,列出变化因素:人员、物体、布局、光照、任务难度。所有变化均需围绕数据用途设计,服务采集目标。

数据多样性需要设计、统计,不能仅凭现场感觉判断。

设备准备:确认关键交互能被记录

设备选型要回答一个具体问题:为了支持目标任务,哪些信息必须被记录?

第一视角视频通常承担视觉记录的基础作用;音频、深度、惯性测量、手部或身体姿态等信息,按项目需要配置。Ego4D 的公开资料也展示了第一视角视频之外的多种数据模态,但并非每段数据都具备全部模态。

采集前需完成三类检查:

视角检查。设备佩戴完成后,应当让采集员实际完成一次抓取、转身与放置动作,确认手、目标物体以及关键交互区域都能够进入拍摄画面。

设备检查:确认电量、存储空间、录制状态、保存导出流程正常,避免后续发现文件损坏或传感器未启动。

标定与同步检查。项目涉及空间测量或多传感器联合使用时,应保存所需标定信息,并验证时间对齐方式。设备时间戳是否来自同一时钟、是否存在偏移和漂移,都需要确认。

标定并非一次完成后永久有效。设备安装或配置改变后,应按项目规则重新验证。机器人采集项目 DROID 的官方流程,也将相机标定列为采集前置步骤。这一阶段的产出,是设备检查记录、适用的标定文件和可回放的试录样本。

小批量试采:让整条链路先跑通

正式放量前,安排一批覆盖典型任务和主要难点的试采。试采需要完整走完全部流程直至交付端:

采集→ 上传 → 质检 → 处理 → 标注 → 打包 → 使用方读取。

验证内容包括任务描述可执行性、任务边界判定一致性、关键动作可见性、元数据完整性、交付结构可用性。

试采结束后,将问题分别归入任务设计、设备、人员执行、标注规则和交付格式,修改对应环节。有些问题在现场表现为采集错误,根源却在需求和规则里。

正式采集:每次尝试都留下完整记录

正式采集时,每个episode都应有唯一编号,用于关联原始文件、元数据、标注和质检结果。现场流程固定为:

确认任务→ 核对初始状态 → 检查录制 → 执行任务 → 记录结果 → 快速自检 → 提交。

除影像外,应记录任务编号、场景编号、匿名采集员编号、设备配置版本、物体信息、起止时间、任务结果和异常说明。具体字段按项目裁剪,使用方必须知道、无法从画面可靠推断的信息,均应现场记录。

对于任务失败的情况,也需要区分具体原因。杯子滑落后重新抓取,可能是一段有价值的恢复过程;设备停录导致关键动作缺失则是采集故障。失败任务的保留、标注规则应提前约定。

不要为了画面“看起来顺利”隐去真实的重试和中断,这些真实信息会影响后续算法对任务执行过程的分析理解。

入库与质检:先查完整,再查可用

数据提交后,先保留原始版本再处理,处理后文件需可追溯到原始数据与处理记录。入库时检查文件齐全性、可读取性、编号唯一性、元数据对应性。

质检则可以分成两层:

技术质量检查:包括文件损坏、黑屏、严重模糊、缺失数据流、异常时间戳,以及项目要求的同步和标定信息是否可用。

任务质量检查:包括初始状态是否符合任务卡,目标任务是否执行,关键交互是否可见,任务结果与现场记录是否一致。

自动检查适合覆盖文件完整性问题和部分信号异常场景,人工检查则用于判断复杂交互逻辑和任务语义合理性。

例如,杯子最终进入柜子,说明任务可能成功;但如果放置过程完全被遮挡,这段数据是否合格,仍取决于它要支持的学习任务。

质检结果应明确为通过、修复后复检或需要补采,并记录原因。质检反馈还要回到现场,及时修正持续出现的问题。

处理与标注:为具体用途增加结构

数据预处理可能涉及切片、转码、时间对齐、隐私遮挡或格式转换等操作。每一步操作都应当记录所用参数和处理版本;当处理涉及时间轴变化时,要确保原有标注仍能精准对应处理后的内容。

标注粒度由数据用途决定,常见层次包括:

  • 任务级:目标、起止时间、成功或失败;

  • 步骤级:开门、抓取、移动、放置等阶段;

  • 交互级:接触、抓取、释放及物体状态变化。

Ego4D 的公开标注指南包含多种面向不同研究任务的标注方案,说明第一视角数据并不存在一种适用于所有用途的统一标法。

标注前,需要用样例统一标注边界:什么时刻算抓取开始,短暂接触如何记录,遮挡时目标能否判断,动作重试是否单独划分。无法确定的内容,应允许标为不确定或不可见,并进入复核,不要把推测包装成确定标签。

涉及人物、屏幕、家庭环境等内容时,还应按项目约定完成授权记录和隐私检查,评估遮挡处理是否影响关键任务信息。Ego4D 的采集与发布流程,也将参与者知情同意及相关个人信息去标识化处理纳入规范隐私工作流程。

交付:让数据能读、能懂、能追溯

在AI数据集交付前,需要核对的不只是文件总量,还包括实际任务分布、场景覆盖、有效数据量、重复数据和异常情况。

如果项目要求划分训练集、验证集和测试集,还应根据任务的使用目的,选择按人员、场景或类别等维度分组,避免高度相似的片段跨集合分布,会导致模型泛化能力的评估结果产生偏差。

一份交付包通常需要包含:

内容

解决的问题

数据文件与清单

收到了哪些数据,是否完整

元数据与标注

每条数据对应什么任务和过程

标定与同步信息(适用时)

如何解释多传感器数据

字段字典与读取样例

使用方如何读取和理解

质检报告

哪些数据通过,哪些问题仍存在

版本与处理记录

数据如何生成,后续如何追溯

使用权限说明

数据可在什么范围内使用

交付前,还需要从使用方的视角完成一次终检:随机选取episode,依次验证文件读取、标注对齐、元数据关联和任务回放全流程;按约定完成整包校验与抽检。

文件上传成功,只说明传输完成。使用方能够按约定使用数据,才说明交付完成。

结语

把流水线串起来,关键是每一步都有验收

整条流程可以概括为:

需求定义→ 场景与任务设计 → 设备准备 → 小批量试采 → 正式采集 → 入库质检 → 处理标注 → 交付验收。

其中,质检发现的问题要返回采集和任务设计;使用方发现的问题,要返回交付规格和处理流程。

项目管理也应把关注点从“录了多少小时”推进到“交付了多少可用数据”:关键动作是否可见,任务覆盖是否达标,首次质检通过率如何,主要返工原因是什么。

一条成熟的具身EGO数据流水线,会让每次任务尝试都有明确标识,让每一步处理都留有记录,让每个质量问题都能追溯到对应责任环节。从场景设计到交付,真正需要建立的是这种可检查、可改进的连接。它决定了采集规模扩大之后,数据质量能否继续保持稳定。

参考资料:

Ego4D: Around the World in 3,000 Hours of Egocentric Video

DROID采集文档

Ego4D 标注指南、隐私说明

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐