视频拍了,文件传了,采集时长也够了,这批Ego数据就可以交付了吗?

打开一段“折叠衣物并放入收纳盒”的视频:衣服确实叠好了,也放进了盒子。但仔细回看,采集员折袖子时,双手一直在画面下方;衣服放入盒子后,镜头已经转向别处。任务完成了,关键过程却没有被完整记录。

这正是Ego数据验收要解决的问题:人做完了,不等于数据采全了。对于以第一视角记录人类操作的数据,建议从以下五个检查点展开验收。

图片

画面质量:看得清关键动作,数据才算数

以折叠衣服为例。正常速度播放时看不出问题,但把进度停到快速翻动衣物的那一瞬间,手和衣物模糊成一片,抓握位置无法辨认。

同一个片段是否合格,要结合用途判断:如果只需要判断"衣物是否被折叠",它可能仍有价值;如果要分析抓握和接触过程,就可能不满足要求。

图片

判断标准不是画面好不好看,而是关键信息还认不认得出来——抓握位置、物体边界、放置方向能辨认,就还在可用范围内。

验收时重点检查:

  • 快速动作是否出现影响判断的模糊;

  • 过曝、欠曝是否掩盖关键细节;

  • 镜头污渍或遮挡是否影响目标区域;

  • 卡顿、丢帧是否造成过程缺失;

  • 分辨率、帧率是否符合约定。

回到折衣服的任务:验收人员不能只看“最后叠好了没有”,还要检查展开、折袖、对折等关键步骤是否清楚。建议完整播放后,再回看快速移动和接触时刻。只抽几张截图,容易错过问题发生的那一秒。

图片

交互可见性:场景入镜不等于操作可见

一段画质清楚的视频,仍然可能不合格。例如头戴设备始终拍着桌面上方,衣物看得见,双手却经常落在画面之外。观看者知道"正在折衣服",但看不到手怎么折、在哪里压平,也无法确认某一步是否完成——这就是关键交互不可见。

更常见的一种情况是,衣物被身体或手臂挡住,镜头中画面显示折叠已经完成,但中间过程无从观察。

因此检查要覆盖三个阶段:

  • 操作前:能否识别目标物体和初始状态?

  • 操作中:项目要求的手物交互是否可见?

  • 操作后:能否判断物体变化和任务结果?

并非所有任务都要求双手全程入镜;但如果项目要研究双手折叠,关键步骤中双手就必须看得见;如果只是判断"衣物有没有被翻动",双手短暂出画未必致命。缺失的画面应按用途决定补采、剔除,或标记后用于其他允许的任务。

图片

过程完整性:结果之外,过程同样需要记录

假设任务要求是"把展开的衣服折叠后放入收纳盒"。交付的视频一开始,衣服已经折了一半;视频结束时,采集员刚拿起叠好的衣服,还没放进盒子;这段记录包含操作,但缺少约定的起点和终点。

另一种情况是,衣服放进盒子时散开,采集员重新拿出、折叠,再次放入。这时需要确认:如果整段都标成"首次成功",后续使用者就无法区分第一次的失败和第二次的完成。

判断标准是起点状态和结果状态是否都落在画面内:约定了"从展开到入盒",两端缺一不可。

验收时需要确认:

  • 初始状态是否保留;

  • 必需步骤是否完整;

  • 最终状态能否支持结果判断;

  • 重试、提示和中断是否记录;

  • 成功、失败与结果不明是否区分。

需要分清的是,操作失败与数据不合格是两回事:一次失败操作可以被清楚完整地记录,并按项目要求保留;一次成功操作,也可能因为关键过程缺失而需要补采。是否保留异常轨迹取决于用途,但保留时应让使用者能找到异常发生的位置,看懂后续如何恢复。

图片

标注与同步:语义、时间与来源一致性

视频没问题,标注也可能出错。采集员还在折袖子,标签已经切到"放入收纳盒",步骤边界提前;或者动作明明是从画面右侧取物,标签却写成"从左侧取物",方向标反。描述与过程就对不上。

如果项目还交付姿态、位姿等衍生数据,同样要核对它是否与视频对应:画面里右手正在移动,叠加的姿态结果却持续偏离手部位置,就需要回到时间对齐、坐标定义或估计结果上排查。

验收重点有四项:

  • 语义一致:动作、物体、描述和结果与记录相符。

  • 时间对应:标签和辅助信号指向正确的时刻或时间范围。

  • 规则统一:不同人员采用相同的类别与步骤边界定义。

  • 来源清楚:人工标注、设备测量和算法估计能够区分。

多设备项目还要确认时间戳来源和映射方式,不能仅凭数值相近就认为已经同步。

图片

覆盖与追溯:单条合格不代表整批达标

假设需求要求采集多种衣物的折叠过程,覆盖不同参与者和桌面条件。最后交付的片段条条清楚、动作也完整,但统计下来,大部分是同一位参与者在同一张桌上折同一种 T 恤——单条质量合格,整体覆盖仍可能不足。

还有一种更隐蔽的情况:原始采集量满足了各类数量要求,但剔除模糊、出画和中断片段后,某类衣物的有效数据已经不够了。所以覆盖验收要统计的是通过检查的有效数据,并对照需求矩阵核对任务、物体、场景、参与者和操作条件的实际分布。

追溯信息同样重要。一批片段集中出现双手出画,如果能查到设备配置和采集批次,就能判断是不是某次佩戴调整引起的,并回头检查同批数据;反过来,如果文件只有"视频1""视频2"这样的名称,缺少任务与批次关联,定位问题就会困难得多。每条数据都应有唯一编号,并关联必要的任务版本、设备配置、匿名参与者标识和处理记录。

图片

从检查到交付:问题处理与验收报告

检出问题只是第一步,接下来要决定怎么处理。沿用前面的例子,可以形成以下判断:

示例问题

建议处理

动作快速模糊、抓握位置无法辨认

按用途判定;需要分析抓握则补采该动作

过程完整但步骤标签提前

修正标注,复验时间边界

关键动作持续在画面之外

按任务要求补采或剔除

文件缺少任务编号

补齐元数据并核验关联

约定类别的有效数量不足

针对缺口补采

失败和重试被记录清楚

按用途保留并正确标记

处理时应保留原始文件和变更记录,便于返修前后核对。批量检查文件、元数据和编码之后,再按约定抽检内容;如果某类问题集中出现,应扩大相关批次的检查范围。验收报告除原始时长外,还应列出有效时长或片段数、主要问题、返修与补采状态,以及验收后的覆盖情况。

回到最初那段折衣服的视频。验收人员要回答的不只是"衣服有没有放进盒子",还有折叠看得清吗?双手和衣物的交互可见吗?起点和结果完整吗?标注对得上吗?这一条属于哪个任务、哪个批次?

这五个问题查清楚,数据的问题才能落到具体片段、具体规则和具体处理方式上。数据通过验收,只说明它满足约定的交付标准;能不能改善模型表现,还要靠后续训练与评估验证。

Ego 数据的可用性,需要从一个关键动作、一段完整过程,一直检查到整批数据的交付要求。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐