机器人训练数据采集中的任务拆解与原子动作清单SOP

在工业场景机器人训练数据采集项目中,工位工艺卡输出后、正式开采前,需要完成一次采集任务拆解,将工艺卡上的工序语言转化为镜头可执行、标注可切分、训练可拼合的原子动作清单。工程上跳过该环节直接采集,常出现长视频无法切分、关键动作样本单一、循环间工序无法对齐等问题,造成成片返工。本文给出任务拆解的输入、层级、条目字段、配比方法与现场落地流程,可作为标准操作参考。

一、拆解的任务定义与输入

任务拆解需要同时准备三份输入。其一,工位工艺卡,包含工序步骤、节拍参数与关键质量点,拆解出的每个下层动作需挂接卡上具体工序,无法挂接的条目视为拆偏。其二,工艺调研记录,包含不少于二十个循环的观察结果、常见失误类型、左右手分工,是变异样本与失败样本条目的来源。其三,训练目标,需确认模型学习完整流程还是集中学习单个难动作,二者清单结构不同:学全流程时工步顺序与前后拼合完整性优先,学难动作时配额向关键工步集中。

仅有工艺卡而缺少调研记录时,变异与失败条目无法列示,清单会退化为单一的成功样本采集表;仅有观察记录而缺少训练目标时,配额容易平均分布,难动作样本不足。拆解时机安排在工艺卡定稿后、设备进场前,关键条目拆解前建议再到工位旁完成一到两轮复核,确认纸面工艺与实际操作一致,避免出现工艺卡写法与实际手部动作不符导致条目无法执行。

工程上建议将三份输入合并到一张工作底稿,工艺卡工序编号作为条目前缀,调研失误类型挂接对应工步,拆解时按底稿逐条翻译。条目初稿完成后,由标注侧确认切分口径可执行、训练侧确认动作粒度与策略学习匹配,再行定稿,清单标注版本号并保留全部变更记录。

二、三层拆解结构与颗粒度判定

拆解按三个层级自上而下进行。工序层,对应工艺卡上一道完整工序,如完成插扣工位;工步层,将工序划分为取件、定位、插接、确认等有序工步;原子动作层,继续划分为伸手、抓取、移动、对位、下压、释放、撤回等不可再分的单一动作。3C精密装配、新能源、汽车零部件产线及物流分拣、贴边、插扣类工位适用同一层级规则。

颗粒度采用起止事件判定法:一个动作描述中包含两个动作时需继续拆分。抓取与移动起止事件不同,抓取为手接触料件起、料件离开料盘止,移动为料件离盘起、到达目标位置上方止,机位要求也可能不同,应分为两个条目;拆分后若找不到新的起止事件,则已达到原子层,不做过度拆分。左右手分工需同步落条:主操作手写入动作定义,双手协同动作按双手接触事件统一切分,避免切成两个单手片段后无法聚合。

三层编号建议采用点分层级,工序号、工步号、原子动作号逐级展开,原子条目天然携带上级归属,聚合时按编号归并即可。每个层级保留名称与简述,工序层简述交代目标,工步层简述交代对象与结果,原子层简述即动作定义。层级文件随清单一起存档,后续质检定位问题条目时可直接沿编号找到所属工步与工序,排查同层级其他条目是否存在共性问题。

采集清单在原子动作层逐条列示,标注时自下而上聚合,原子动作聚合成工步、工步聚合成工序。据北京商报报道,已有数据平台将真实操作拆解为120多种标准原子动作,再经位姿重建与动作映射转化为可训练数据,该思路与上述层级方法一致:拆得开保证切分与计数,聚得回保证完整工步可重建。

三、原子动作条目的字段规范

每个原子动作条目包含五个必填字段。字段一,动作定义:写明起止判定,起止两个事件均需在画面中可见,保证不同采集人员切分口径一致。字段二,视角与机位要求:写明头戴视角(Ego)或外部机位、手部全程可见要求;精细对位类动作,头戴视角需保证手部与接触点同时在画面内,外部机位用于交代动作与工位关系。

动作定义建议使用事件化模板,起点事件与终点事件分别写明主体、对象与判定信号。涉及声音反馈的动作,如插接到位的咔哒声,可将反馈信号写入终点判定;涉及位置变化的动作,以料件相对基准位置的关系变化判定。定义中避免使用模糊的时间或程度描述,所有判定均应支持回看时逐帧确认。不同动作若共用同一接触事件作为前一条终点与后一条起点,需在两条目中显式写明,保证切分时不产生空档或重叠。

字段三,数量与配比:成功样本数、变异样本数、失败与纠错样本数分别以数字写明。字段四,合格标准:手部可见率不低于80%,动作完整无遮挡、起止帧清晰、过程自然;自然指按日常节奏操作,不允许因镜头存在而放慢或分解动作。下压类动作需可见施力手指与受力点,对位类动作需同时可见料件边缘与目标位置,判定细则按动作类型分别写明,质检按条对照。字段五,关联动作:写明前接与后接条目,保证原子片段可拼回完整工步,缺关联字段的条目不允许下发。

四、数量配比的计算方法

配比总量采用自下而上的方式计算:各工步下原子动作按训练目标给出成功样本基数,依据调研记录中各失误类型的出现频率折算变异与失败配额,全部条目加总得到工位采集总量。不建议按工位总时长均摊数量,动作快慢差异大,均摊结果与价值密度不匹配。

成功样本的采集需覆盖人员差异。同一原子动作建议同时覆盖熟练与非熟练操作人员,二者轨迹与时长分布不同,只采集熟练样本会使数据集分布过窄。变异样本除动作失误外,还应按调研记录考虑来料差异、工位姿态差异引起的动作变化,该类条目同样以实际观察为依据。所有非成功条目建议使用统一标记前缀,便于现场识别需要等待机会的条目,也便于下游按类别分别调用。

成功样本按工步顺序铺满,作为标准动作学习基础。变异样本依据调研记录的失误类型列示,如取件打滑、对位偏移、插接不到位后重插,每类单独列条目并给配额,不虚构调研未观察到的类型。失败与自然纠错片段单独列条目、单独配额,该类样本出现频率低,不能依赖拍摄时随机获取;熟练操作人员的快速纠错与非熟练人员的反复纠错过程不同,建议分列条目,现场分别对应采集。定稿后需做一次覆盖检查,工艺卡上每个关键质量点至少对应一个采集条目,对照表附在清单后。

五、现场落地与清单维护

清单现场执行分四步。其一,过叫法:清单交操作人员与拍摄人员共同核对,确认动作定义与现场习惯叫法一致。其二,试采校准:开机先采集三到五条回看,检查起止帧可辨识度、遮挡情况、条目间片段时长一致性、节奏自然度,存在问题时调整定义或机位后再采;试采片段单独存档,不计入正式配额。

核销时按条目逐类核对数量,成功、变异、失败纠错分别计数,不用总数掩盖结构缺口;总数达标但失败条目为零时,仍判定为未完成。核销结果形成缺项清单,注明补采时段与等待条件,结合排产安排补采窗口。采集数据归档时按条目编号组织,片段文件名携带原子动作编号与样本类别标记,下游检索与聚合无需重新切分。

其三,现场增补:正式采集中发现新的失误类型时当场补条目并记录配额;动作定义在试采定稿后保持稳定,确需变更时已采片段按新口径重新切分,并记录变更时间与原因。其四,逐条核销:每日收工按清单核对进度,缺口在次日优先补齐;全部采集完成后逐条核销,一个动作不缺才算完成。工位结束后,将现场调整与新失误类型复盘写回清单模板,供后续工位沿用迭代。

整体来看,任务拆解以三份输入为依据,经三层拆解得到原子动作条目,按五字段规范列示,配比自下而上计算并单列难例,现场经四步落地核销。上述流程在多个工业采集项目中得到验证,可结合具体产线条件调整使用。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐