具身数据中的失败样本价值:操作偏差、恢复过程与轨迹标注的边界

在具身操作数据中,成功轨迹通常占据主要位置,失败尝试则容易在清洗阶段被删除。这样的处理能够提高样本表面的整齐程度,却也可能删除偏差发现、动作退出和再次尝试之间的因果联系。成功轨迹描述动作达成目标的方式,恢复过程描述目标未即时达成时的接续方式,两者承担不同的训练信息。

从一次放置偏移看成功轨迹的表达缺口

考虑一个放置过程:手部夹持零件接近目标位置,接触前发现姿态偏移,于是暂停进给,退出一段距离,调整方向后重新接近。若只保留重新接近并成功放置的部分,样本仍能说明目标位置与末端轨迹,却无法表达轨迹改变的起因,也无法表达暂停和退出所对应的状态。

经过精修的成功样本适合提供清晰监督。其操作区域明确,干扰较少,起止状态容易识别,可用于建立稳定的动作参照。问题不在成功样本本身,而在数据构成只包含这一类样本时,模型接触到的条件分布会被缩窄,许多真实操作中存在的非预期状态不再出现。

从监督信息看,成功轨迹主要给出状态与动作的顺利对应关系。恢复轨迹则增加了另一类对应关系:预期状态未出现时,哪些线索引起动作中断,哪些动作被用于改变当前状态,以及这些动作是否使操作回到可继续的条件。删除后者,会使数据对过程的表达停留在理想路径。

因此,失败样本的讨论不应停留在是否保留错误结果,而应转向是否保留可解释的状态变化。没有恢复的失误、经过调整后的成功以及主动停止,分别对应不同监督含义。光有结果标签而没有过程对应,难以支撑对恢复行为的理解。

成功样本的隐含条件与记录范围

全部由成功过程组成的数据,会隐含若干理想条件:抓取总能形成稳定夹持,物件位置始终利于接近,移动期间姿态保持不变,放置也不需要附加调整。这些条件无需显式写入标签,便会通过反复出现的样本成为训练材料中的常规模式。

当实际状态偏离这些条件时,原有轨迹所依据的关系可能不再成立。接触前的小幅偏移会改变后续接近方向,接触后的滑移会改变夹持状态,放置不稳则意味着松手条件尚未满足。如果训练数据从未给出这些状态及其后续动作,模型便难以从样本经验中获得相应参照。

公开资料于十一月十三日介绍了一家采集设备团队的新一代头戴与手部记录装置。资料将失败尝试和随后的恢复动作列入记录内容,同时指出,单纯累积视频并不保证训练得到改善,遮挡会使动作标签变形,相近轨迹也可能带来不同接触结果;只截取抓住的局部,还会遗漏靠近、调整与搬运过程。

这一记录口径强调了轨迹之外的接触信息。外观相似的手部运动,并不保证物件状态发生相同变化。资料还要求将推算数值与实测记录分开标注,并指出关键控制仍依赖机器人自身反馈。由此看,恢复片段能够提供行为参照,但不能被理解为无需状态反馈即可套用的固定控制答案。

精修轨迹与恢复轨迹可以形成互补。前者减少无关干扰,使目标状态更明确;后者保留非预期状态及动作调整,使数据能够描述成功之外的过程。记录范围的确定,应依据训练问题所需的信息,而不是单纯依据画面是否流畅。

偏差及恢复记录中的可标注信息

偏差程度是恢复样本中的基础信息。轻微姿态倾斜与明显位置错位,对应的可处理空间不同。小幅偏差可能通过减速和方向调整得到处理,较大偏差则可能要求退出并重新建立夹持。将偏差程度与后续动作关联,可避免把所有恢复行为压缩为同一种轨迹形式。

偏差发现时刻决定了动作变化的解释。接触前暂停通常与视觉姿态或相对位置判断有关,接触后退出则可能对应滑移、接触不稳等状态。标注发现时刻,有助于区分偏差已经出现、操作者已经察觉以及调整动作实际开始这几个不同时间位置。

退出方式也包含条件信息。保持夹持并后退,意味着物件仍受手部控制;松手后避让,则意味着接触关系已经改变。退出方向、退出幅度与周围空间及物件状态相关。若仅保留再次尝试,以上信息会被折叠成一段无法解释的轨迹中断。

再次接近过程用于建立调整与结果之间的联系。需要保留调整后的接近方向、前一次接触对物件位置的影响,以及重新接触后状态是否稳定。这样,成功结果不再是一个孤立标签,而能被理解为前序偏差处理后的结果。

未恢复成功的记录还涉及停止条件。操作者放下物件、停止继续进给或结束尝试,均可构成有效监督,但需要与成功恢复明确区分。恢复并不等于持续尝试直至完成,适当停止同样属于真实操作中的接续决策。

缺失恢复样本时的策略学习断点

当训练数据反复呈现动作必然达成结果的关系时,模型可以学习成功模式,却难以获得非预期状态下的动作经验。增加同类成功轨迹,主要提高成功模式的样本密度,并不会自动补足偏差发现、状态评估和动作调整之间的关系。

这种缺口可能表现为两类行为。一类是在偏差出现后停止,因为已有样本没有提供可借鉴的接续路径;另一类是继续执行原轨迹,因为模型未能识别原路径的适用条件已经改变。两类行为虽然不同,都可能源于恢复过程监督不足。

恢复样本的核心作用,是建立线索、状态与动作之间的联系,而不是增加一种表面上的纠偏轨迹。若训练只让模型模仿退回动作,却没有提供退回对应的接触状态和偏差程度,所得行为仍可能缺少条件判断。完整记录因此比孤立动作片段更重要。

另一份公开材料里,一家模型团队的几代成果被放在一起比较。其中,打底数据规模由二十几万小时扩大到五十万小时,实际任务成功表现也有明显提升。材料还指出,更新一代成果呈现出有限的跨场景适应与自主纠错表现,说明偏差后的自主接续已经成为能力评价的一部分。

在这一评价口径下,恢复记录不再只是成功数据的附属内容。成功轨迹提供目标状态与稳定动作的监督,恢复轨迹提供目标未达成时的状态变化与处理经验。两类信息共同存在,训练材料才可能同时描述动作如何完成,以及动作未顺利完成时如何接续。

失败样本入库的筛选与标注边界

保留失败样本不等于取消数据清洗。操作区域未被拍到、关键接触过程模糊、无关干扰占据主要画面的记录,即使包含明显失败,也难以提供可靠监督。此类内容无法支撑偏差定位和恢复解释,仍应在筛选中剔除。

可入库样本需要明确偏差发生的具体位置。夹持滑脱、移动中的姿态改变以及放置后的不稳定,应对应可观察状态,而非用一个覆盖全程的失败标签代替。偏差标注过于宽泛,会削弱后续动作与原因之间的对应关系。

恢复起点需要采用一致口径。暂停出现、退出动作开始和重新接近之前,是不同的时间位置。若各段记录采用不同起点而未加说明,恢复过程的长度与含义都会失去可比性。统一口径的目的,是让相同标签指向相同过程内容。

恢复结果也应细分。再次尝试后达到目标、经过若干调整后稳定、未能恢复而停止,不宜合并为同一类别。错误标注会把停止行为变成成功示范,过度删除则会丢失停止条件的监督。筛选与标注应共同保证过程可解释。

因此,失败样本的质量标准并不低于成功样本。画面完整性、接触可见性、前后过程连续性和标签一致性都需要检查。数据清洗应去除含混,而不是去除一切不顺利的真实状态。

真实生产记录的条件与许可限制

真实生产中的偏差与来料差异、磨损、配合变化和人员疲劳相关,依附于具体生产条件,临时情节难以替代。此类记录能为成功轨迹之外的状态变化提供依据。

限制在于,生产方不一定愿意开放失误记录,尤其涉及质量责任与现场管理。能否记录、记录到何种程度,需要与生产方明确约定,这一点绕不过去,也不是优点。样本价值不能替代记录许可。

在明确许可和标注口径后,该类记录保留了真实操作中的偏移与接续过程,补充非预期状态下的可解释监督。

数据检查中的四个可执行问题

检查一批具身数据时,可以先核对失败过程是否实际保留。应打开样本查看偏差与后续动作,而不是仅依据类别名称或记录总数。若所有轨迹均顺利结束,需要进一步确认筛选阶段是否删除了全部非成功尝试。

随后核对偏差标签落在哪一处。标注者应能在画面中指示滑脱、姿态改变或放置不稳出现的时刻,并说明不同记录是否采用一致规则。无法定位的笼统失败标签,难以支撑恢复过程与具体原因的对应。

还需核对恢复起点及结果标签。暂停、退出和重新接近分别处于什么位置,恢复成功与停止处理如何区分,都应通过实际样本说明。标签定义应落实到画面,借此避免不同标注者对同类过程作出不同解释。

还要检查失败样本与成功样本是否可分,以及未恢复记录是否被误标为成功。分类清楚并不等于彼此隔离,而是为了按训练目的调用不同监督信息。以上检查共同判断数据是否只保存了目标结果,还是也保存了结果未达成时的过程依据。

失败样本的合理价值,在于提供可观察、可标注、可核验的偏差及恢复关系。它不能替代成功轨迹,也不意味着废片应当入库。清晰目标与真实接续共同进入数据,才能更完整地表达具身操作过程。若这些核对无法落实,后续分析便很难判断模型究竟缺少目标参照,还是缺少非预期状态下的处理经验。把两类缺口分清,也有助于避免继续用成功样本数量解释所有问题。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐