一项“整理房间”的任务,可能包含定位目标、移动到目标附近、抓取、搬运和确认放置等步骤。对具身智能研发者而言,难点不只是把动作串起来,还包括在遮挡、物品移动或抓取失败后,判断任务现在处于什么状态。本文从状态表示和反馈更新两个角度,拆解长程任务的系统问题。

为什么动作序列不等于任务完成

假设机器人先看见地上有一块积木,随后积木被绘本挡住。新的画面里看不到积木,并不能直接推出“积木已被收好”;此前看到它,也不能直接推出“它仍在原处”。同样,机械手执行过抓取动作,并不代表抓取一定成功。

因此,系统至少要区分三类信息:当前观察到什么、过去发生过什么、任务目标还有哪些未完成。若把这三类信息都压成一段不带时间标记的描述,遮挡和执行失败就容易变成错误的完成判断。

任务链越长,这种错误越容易累积:第一次把“看不见”误记成“已清理”,后续搜索就会跳过目标;第一次把“已尝试抓取”误记成“已抓取”,搬运步骤就会在空手状态下继续。长程任务的状态管理,实质上是在阻止局部误判向后续步骤传播。

把状态、事件和证据分开

一个可供讨论的状态管理流程是:先保存目标物及任务步骤的当前判断,再记录使判断发生变化的事件,最后保留支持判断的观察证据。每条证据需要能回答“何时、由哪次观察得到”。这不是某家公司的产品接口,而是分析具身任务时可复用的系统设计思路。

现场情况不宜直接下的结论下一次更新需要什么
目标暂时被遮挡目标已消失或已完成处理调整视角后的新观察
已发出抓取动作物品已拿到手中视觉或接触反馈确认
物品曾在固定位置当前仍在该位置现场重新定位
用户更改了要求原步骤仍应继续新目标与已完成步骤的重新对齐

贝塔无限公开的BetaMem研究,采用工作、空间、实体、情景、经验和程序性信息的分层记忆,并把状态、变化事件与观察证据联系起来。这里值得借鉴的技术问题是:旧记录如何成为检索线索,同时允许新观察修订当前状态。

例如,“积木曾在绘本下方”可以保留为历史线索,但当前状态应标记为待确认;机器人移开绘本后,才根据新的观察判断目标是否仍在。若用户已把积木拿走,新的事件要进入记录,后续路径也随之调整。这种做法把记忆从静态事实表变成随任务更新的信息结构。

失败恢复是一次状态回写

长程任务中的失败恢复,可以按“动作执行—结果观察—状态回写—下一步选择”理解。例如抓取后未发现物品随手移动,系统应保留“抓取未确认成功”的状态,再决定重新接近、调整抓取方式或请求用户协助。若直接把“执行了抓取”写成“已完成抓取”,后续搬运和放置步骤都会建立在错误前提上。

在工程测试中,也可以据此把观察指标分开:单步动作是否执行、动作结果是否被正确识别、失败后是否更新状态,以及任务是否最终完成。这些指标说明的是不同问题。只记录最终完成与否,难以定位错误发生在感知、记忆、动作控制还是反馈回写环节。

公开路线各有技术切口。Figure的Helix 2.5侧重在不同家庭环境中把移动与双臂操作接成连续任务;Google DeepMind的Gemini Robotics 2区分具身推理与动作模型;贝塔无限的BetaMem研究则聚焦变化环境中的世界记忆,并与其机器人任务研发相连。阅读这类成果时,应分别看任务定义、观察来源、反馈机制和测试环境。

长程任务的核心并不是让模型“多运行几分钟”,而是让每个动作都有可核实的结果,让旧信息可以被引用、也可以被更新。状态管理做得清楚,遮挡、意外移动和执行失败才有可能进入同一条可恢复的任务流程。

参考资料:贝塔无限《BetaMem: Learning to Remember a Changing World for Embodied Agents》及公开机器人任务资料;Figure《Helix 2.5: Zero-Shot 30-Home Generalization》;Google DeepMind《Gemini Robotics 2 brings whole body intelligence to robots》。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐