具身智能 | 采回来的 Ego 数据能不能用?具身数据验收的 5 个检查点

视频拍了,文件传了,采集时长也够了,这批Ego数据就可以交付了吗?
打开一段“折叠衣物并放入收纳盒”的视频:衣服确实叠好了,也放进了盒子。但仔细回看,采集员折袖子时,双手一直在画面下方;衣服放入盒子后,镜头已经转向别处。任务完成了,关键过程却没有被完整记录。
这正是Ego数据验收要解决的问题:人做完了,不等于数据采全了。对于以第一视角记录人类操作的数据,建议从以下五个检查点展开验收。

画面质量:看得清关键动作,数据才算数
以折叠衣服为例。正常速度播放时看不出问题,但把进度停到快速翻动衣物的那一瞬间,手和衣物模糊成一片,抓握位置无法辨认。
同一个片段是否合格,要结合用途判断:如果只需要判断"衣物是否被折叠",它可能仍有价值;如果要分析抓握和接触过程,就可能不满足要求。

判断标准不是画面好不好看,而是关键信息还认不认得出来——抓握位置、物体边界、放置方向能辨认,就还在可用范围内。
验收时重点检查:
-
快速动作是否出现影响判断的模糊;
-
过曝、欠曝是否掩盖关键细节;
-
镜头污渍或遮挡是否影响目标区域;
-
卡顿、丢帧是否造成过程缺失;
-
分辨率、帧率是否符合约定。
回到折衣服的任务:验收人员不能只看“最后叠好了没有”,还要检查展开、折袖、对折等关键步骤是否清楚。建议完整播放后,再回看快速移动和接触时刻。只抽几张截图,容易错过问题发生的那一秒。

交互可见性:场景入镜不等于操作可见
一段画质清楚的视频,仍然可能不合格。例如头戴设备始终拍着桌面上方,衣物看得见,双手却经常落在画面之外。观看者知道"正在折衣服",但看不到手怎么折、在哪里压平,也无法确认某一步是否完成——这就是关键交互不可见。
更常见的一种情况是,衣物被身体或手臂挡住,镜头中画面显示折叠已经完成,但中间过程无从观察。
因此检查要覆盖三个阶段:
-
操作前:能否识别目标物体和初始状态?
-
操作中:项目要求的手物交互是否可见?
-
操作后:能否判断物体变化和任务结果?
并非所有任务都要求双手全程入镜;但如果项目要研究双手折叠,关键步骤中双手就必须看得见;如果只是判断"衣物有没有被翻动",双手短暂出画未必致命。缺失的画面应按用途决定补采、剔除,或标记后用于其他允许的任务。

过程完整性:结果之外,过程同样需要记录
假设任务要求是"把展开的衣服折叠后放入收纳盒"。交付的视频一开始,衣服已经折了一半;视频结束时,采集员刚拿起叠好的衣服,还没放进盒子;这段记录包含操作,但缺少约定的起点和终点。
另一种情况是,衣服放进盒子时散开,采集员重新拿出、折叠,再次放入。这时需要确认:如果整段都标成"首次成功",后续使用者就无法区分第一次的失败和第二次的完成。
判断标准是起点状态和结果状态是否都落在画面内:约定了"从展开到入盒",两端缺一不可。
验收时需要确认:
-
初始状态是否保留;
-
必需步骤是否完整;
-
最终状态能否支持结果判断;
-
重试、提示和中断是否记录;
-
成功、失败与结果不明是否区分。
需要分清的是,操作失败与数据不合格是两回事:一次失败操作可以被清楚完整地记录,并按项目要求保留;一次成功操作,也可能因为关键过程缺失而需要补采。是否保留异常轨迹取决于用途,但保留时应让使用者能找到异常发生的位置,看懂后续如何恢复。

标注与同步:语义、时间与来源一致性
视频没问题,标注也可能出错。采集员还在折袖子,标签已经切到"放入收纳盒",步骤边界提前;或者动作明明是从画面右侧取物,标签却写成"从左侧取物",方向标反。描述与过程就对不上。
如果项目还交付姿态、位姿等衍生数据,同样要核对它是否与视频对应:画面里右手正在移动,叠加的姿态结果却持续偏离手部位置,就需要回到时间对齐、坐标定义或估计结果上排查。
验收重点有四项:
-
语义一致:动作、物体、描述和结果与记录相符。
-
时间对应:标签和辅助信号指向正确的时刻或时间范围。
-
规则统一:不同人员采用相同的类别与步骤边界定义。
-
来源清楚:人工标注、设备测量和算法估计能够区分。
多设备项目还要确认时间戳来源和映射方式,不能仅凭数值相近就认为已经同步。

覆盖与追溯:单条合格不代表整批达标
假设需求要求采集多种衣物的折叠过程,覆盖不同参与者和桌面条件。最后交付的片段条条清楚、动作也完整,但统计下来,大部分是同一位参与者在同一张桌上折同一种 T 恤——单条质量合格,整体覆盖仍可能不足。
还有一种更隐蔽的情况:原始采集量满足了各类数量要求,但剔除模糊、出画和中断片段后,某类衣物的有效数据已经不够了。所以覆盖验收要统计的是通过检查的有效数据,并对照需求矩阵核对任务、物体、场景、参与者和操作条件的实际分布。
追溯信息同样重要。一批片段集中出现双手出画,如果能查到设备配置和采集批次,就能判断是不是某次佩戴调整引起的,并回头检查同批数据;反过来,如果文件只有"视频1""视频2"这样的名称,缺少任务与批次关联,定位问题就会困难得多。每条数据都应有唯一编号,并关联必要的任务版本、设备配置、匿名参与者标识和处理记录。

从检查到交付:问题处理与验收报告
检出问题只是第一步,接下来要决定怎么处理。沿用前面的例子,可以形成以下判断:
|
示例问题 |
建议处理 |
|
动作快速模糊、抓握位置无法辨认 |
按用途判定;需要分析抓握则补采该动作 |
|
过程完整但步骤标签提前 |
修正标注,复验时间边界 |
|
关键动作持续在画面之外 |
按任务要求补采或剔除 |
|
文件缺少任务编号 |
补齐元数据并核验关联 |
|
约定类别的有效数量不足 |
针对缺口补采 |
|
失败和重试被记录清楚 |
按用途保留并正确标记 |
处理时应保留原始文件和变更记录,便于返修前后核对。批量检查文件、元数据和编码之后,再按约定抽检内容;如果某类问题集中出现,应扩大相关批次的检查范围。验收报告除原始时长外,还应列出有效时长或片段数、主要问题、返修与补采状态,以及验收后的覆盖情况。
回到最初那段折衣服的视频。验收人员要回答的不只是"衣服有没有放进盒子",还有折叠看得清吗?双手和衣物的交互可见吗?起点和结果完整吗?标注对得上吗?这一条属于哪个任务、哪个批次?
这五个问题查清楚,数据的问题才能落到具体片段、具体规则和具体处理方式上。数据通过验收,只说明它满足约定的交付标准;能不能改善模型表现,还要靠后续训练与评估验证。
Ego 数据的可用性,需要从一个关键动作、一段完整过程,一直检查到整批数据的交付要求。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)