具身数据的任务粒度差异:单步动作与长程编排的训练价值区分
具身数据的任务粒度差异:单步动作与长程编排的训练价值区分
具身智能数据采集里有一个常被合并处理的维度,是任务粒度。同样一段采集时长,可能由大量短片段构成,也可能由少量长片段构成。两者在训练中的角色不同,混同统计会掩盖差异。本文按任务结构拆解这一区别,并给出采集侧的取舍依据。
先把对象限定清楚。单步动作指起点与终点之间不含中间决策的动作段,执行时长在数秒量级;长程编排指由若干动作段串联而成、段间存在状态依赖的任务,执行时长在数分钟量级。这个划分不涉及难度,只涉及结构。
一、两类任务的结构差异
差别可归为三点。其一是决策点的分布。单步动作在段内不设决策点,判定集中在段末;长程编排在段间设决策点,判定分布在全过程。
其二是状态依赖。单步动作的输入基本由当前帧观测决定,历史状态的影响可忽略;长程编排的输出依赖前序动作的结果,同一动作在不同位置执行,受到的约束不同。
其三是错误的可恢复性。单步动作做错,重做成本等于该动作本身的成本;长程编排在中段出错,需回退到前一稳定状态,回退步数与已执行步数相关。
二、单步动作数据的特征与边界
十一月十一日公开的一份行业梳理提到,某物流企业将自有仓网开放出来供机器人练习,并把仓储作业按结构分为三类。其中一类是将包裹逐一移至传送带、校正面单贴合,精度要求在厘米量级,动作构成简单,约束主要来自节拍的稳定性。
这类数据的技术特征明确。单条时长在数秒量级;同一动作可高密度重复;影响执行的因素少,来件规格与工位高度基本恒定;判定标准可观测,末端位置是否达标可由视觉直接核验,无需人工二次解释。
标注成本也低。起止点清晰,一条记录对应一个动作,标注一致性容易保证。
它的适用边界同样明确。固定工位上料、定点抓取、跨线转运这类作业,动作构成固定、节拍固定、外部扰动小,单步数据训练到位即可支撑。这里不存在质量问题,问题在适用的任务范围:它能建立的是动作层面的执行能力,包括末端轨迹、抓取角度、落位精度与执行速度。这些能力都终止于单个动作的边界。
还有一点值得注意。单步数据的质量评价标准清晰,容易做出高分;分数高不代表结构完整。以单步数据的指标作为整体交付的验收依据,会把结构问题掩盖在漂亮的数字之下。
换言之,这一层建立的是执行层的能力,不涉及编排层。
三、长程编排数据的特征:先后关系与状态承接
同一份梳理里,另外两类任务的结构不同。一类是从整箱中拣出单件、从混料容器中定位目标商品,精度要求提升到毫米量级,单个任务包含十几步至几十步,中途需处理软包形变、异形件抓取点缺失、叠压遮挡三类情形。另一类是拼箱与复杂码垛,执行端需先建立立体空间的结构认知,再对后续数分钟的动作序列作出安排,而非仅对当前目标作出响应。
这类数据的技术特征与前者相反。单条时长在数分钟量级;重复密度低,同一序列连续执行两次的条件往往不成立;影响执行的因素多且相互关联;判定标准不在单步末端,而在整段结束时的结果状态。
关键在于先后关系。单步动作的数据中不存在先后,因为它本身就是一步。一步之内,前与后没有区别,只存在当前帧与下一帧。序列达到十几步之后,先后才具备约束力:前序动作的偏差会沿序列传递,并在后续步骤中被放大。
两个典型判断点可说明这一点。从混料容器中定位目标商品,需先判定遮挡关系:压覆件不移除,目标不可达;移除压覆件,目标可能随之位移。该判断发生在执行之前,依据是观测之后的动作安排。码垛定位到第三层,需先确定下两层的堆叠结果:第三层的位置不由该层自身决定,由下两层的实际落位决定。这类约束对人而言不需显式计算,对执行端则必须通过学习获得。
标注侧的处理也不同。单步数据标的是动作本身;长程数据除动作外还要标步间转移条件,即上一步满足什么条件才允许推进到后一个动作,这一步失败时回退到哪一步。这部分信息无法从单帧画面推导。
两个判断点有共同结构:判定依据不在当前帧的观测内,而在前序动作的结果中。这正是单步数据无法提供的信息。
四、单步样本量增加的作用边界
由此容易得出一个过强的结论,即单步数据无价值。该结论不成立。
执行层不稳,编排层无从谈起。末端精度不足时,序列串联只会放大误差。单步数据在建立执行稳定性上没有替代路径。
另一份公开材料里,有从业者指出,真实工位上的状态难以在按脚本构建的环境中重现。包裹塌陷、货物相互遮挡、面单贴合偏移,这些在持续运转的仓储环境中属常态,在按流程预设的环境中属低频。该材料还提到,大促期间的现场节拍与常规时段差异明显,而这一段的样本补充难度更高。
这段描述指向长程任务的主要难点:不是各步动作分别达标,而是中途出现异常时的处置。异常不按脚本出现,按脚本构建的环境里,此类样本的密度天然偏低。
由此形成一处不匹配。单步数据的不足可通过增加样本量缓解,同一动作重复更多次,边际收益递减但仍为正;长程数据的不足无法通过同路径缓解,缺少的不是同类样本的更多份,而是另一类样本的存在。将若干条数秒片段拼接,不构成一条数分钟的完整序列,接缝处的状态承接恰是缺失部分。
结论可写成一句:单步动作的拟合精度与长程任务的完成率之间不存在单调关系;后者需要的是跨步的状态承接,增加前者样本量无法替代。
五、配比与采集侧约束
两类数据都需要,问题在配比。同一采集时长内,全部为单步重复,与一半单步、一半完整序列,训练结果的差异显著。配比取决于目标作业的构成:以固定工位上料为主的场景,单步占比高属合理;以拣选、拼箱、码垛为主的场景,完整序列的占比需相应提高。
采集侧的约束值得单列。完整序列的采集要求记录连续,中断后重新起录会丢失接缝处的判断依据;标注要求记录步间关系,包括每一步的前置条件与失败后的回退目标;采集排期需按任务长度安排,不能按动作数量安排。
真实产线上的任务天然偏长。一件产品从上线到下线需经过多道工序,每道工序各有判断与节拍。采集按任务边界切分,不把整段拆成独立动作再重组。这一取向的前置条件是采集方能够进入产线并跟随完整流程,边界是单条记录的时长受工序节拍限制,产能约束则来自产线可开放的时段。
配比的量化需要在验证集上做,而不是在采集清单上做。清单能反映采了什么,反映不了训练时各占多少。
核验方式可简化。抽样统计单段记录的连续执行时长分布:集中在数秒区间的,该批数据偏向单步;存在数分钟区间的连续记录,编排层的数据即在场。这一判断不依赖总量。
回到设计选择本身。任务粒度不是难度分级,是结构分类。按单步数据训练、在长程任务上部署,两者所需的支撑集不同。更值得核的是单段任务的连续执行时长,而非总采集时长。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)