CarryOn:一种用于提供个性化且可靠机器人辅助的双环驾驭
论文:“CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance”,来自香港科技大学、香港中文大学和智多星(SmartMore)公司,2026年10月。
CarryOn 的主要价值,是把“理解用户—安全执行—失败恢复”连接成一个围绕冻结 VLA 的闭环系统。其贡献更偏向系统架构和运行时机制;实验对“减少碰撞违规”的支持较强,对“反思带来的独立增益”和“长期泛化”的支持仍有限。
如图是一个例子:为素食用户提供食物。(1) 用户仅提出要求:“给我上些吃的。”(2) CarryOn 从记忆中调取上下文信息。(3) 规划器向一个固定的 VLA策略下达一系列子任务:打开粉色盖子;如果胡萝卜在盖子下方,则将其放入碗中。(4) 在执行过程中,主动式保护机制引导机械臂末端夹具及所持胡萝卜绕过障碍物;当出现意外情况时,响应式恢复机制会重新抓取胡萝卜,以继续完成任务。

1.方法的核心:将不同性质的问题交给不同层处理
如图所示:

CarryOn 将机器人面临的问题拆成三个层次:
| 层次 | 要解决的问题 | 主要机制 |
|---|---|---|
| 任务决策 | 用户真正需要什么?当前场景是否允许? | 用户记忆、场景记忆、观察后重规划 |
| 动作执行 | 即将执行的动作会不会发生危险接触? | 几何预测与动作过滤 Shield |
| 失败恢复 | 已经掉落、抓空或卡住,怎样继续? | 控制式恢复技能、离线反思与版本更新 |
这里的 VLA 冻结,指运行和恢复改进过程中不更新其权重。论文的真实机器人任务仍使用任务专门微调过的策略,因此不能理解成“任意通用 VLA 接入即可完成这些任务”。
双环之间通过视觉反馈共享任务状态。它最有意义的区分是:
- 胡萝卜掉落:目标仍然合理,需要修复物理状态并继续。
- 打开盖子发现肉,而用户吃素:目标的执行条件已经失效,需要修改记忆并停止原计划。
这个区别让系统能够判断“应该继续做但暂时做不了”和“现在已经不应该做”。
2.规划环:亮点在记忆更新的执行约束
规划器同时使用两类记忆:
- 用户记忆:长期偏好、习惯、个人物品及其参考图片。
- 场景记忆:物品在哪里、某个位置有什么。
用户记忆由对话更新,临时要求与长期偏好分开处理;场景记忆则依据新观察修正。例如,原先记着“粉色盖子下面是胡萝卜”,打开后看到肉,就必须替换旧记录。
值得关注的是,作者加入了程序层面的更新检查:观察产生待更新记录后,下一份计划如果没有 update_scene,校验器就会拒绝该计划并要求重做。这比仅在提示词中要求“记得更新记忆”更可靠。
不过,这种约束只能保证“执行了记忆更新”,不能保证“写入的内容是真实的”。视觉识别错误仍可能被长期保存。
附录还揭示了两个边界:
- 记忆主要以 Markdown 键值记录存储,并注入规划上下文,没有展示大规模记忆检索与遗忘机制。
- 所有用户资料都进入上下文,由提示词要求只使用当前用户信息。因此,实验中的用户隔离主要是模型行为约束,并非严格的数据访问隔离。
所以,个性化部分证明了“小规模、可修订的持久上下文”有效,尚未证明长期多用户部署的可靠性。
3.执行环的 Shield:预测短期接触风险,再裁剪动作
Shield 位于 VLA 和底层控制器之间,处理流程是:
- 根据任务识别目标物、放置位置及其允许接触的几何区域。
- 使用分割与深度信息构建三维障碍物点集。
- 预测夹爪及所持物体在未来动作中的位置。
- 只放行首次预测违规之前的动作;如果第一步就不安全,则后退并重新观察。
它没有直接把 VLA 输出的位移当作实际运动,而使用临界阻尼模型近似控制器响应:

这一点有实际意义:机器人有当前速度和控制响应滞后,命令安全不等于实际轨迹安全。
另外,它同时检查夹爪和被携带物体,并区分“任务必需接触”和“禁止接触”。否则,简单地避开所有物体会使抓取和放置本身无法完成。
Shield 是本文技术路径最清楚、量化证据也最充分的部分。但其能力有明确边界:
- 它主要进行动作裁剪和局部退避,没有直接求解绕障全局路径,可能出现反复阻挡或停滞。
- 安全性依赖分割、深度、持物判断及运动预测的准确性。
- 方法描述主要检查夹爪和所持物体,不能直接推出全机械臂碰撞安全。
- 论文没有给出覆盖感知误差、控制误差和动态环境的形式化安全保证。
因此,应将它理解为显著降低接触风险的运行时过滤器。
4.恢复与反思:在受限技能空间里积累经验
失败后,Visual Judge 暂停 VLA,调用基础恢复技能:
移到观察姿态 → 重新定位目标 → 生成抓取候选 → 抓取并检查持物 → 搬到目标附近 → 再检查持物 → 恢复原 VLA 子任务。
这套设计的关键是:恢复模块负责把机器人带回适合继续执行的状态,最终任务是否完成仍由 Judge 判断。
反思发生在评测轮次之间,而非当前动作执行过程中,更新两类内容:
| 记忆 | 修改内容 | 实验中的主要实例 |
|---|---|---|
| 参数记忆 P | 恢复动作的数值设置 | 调整抓取接触高度 |
| 策略记忆 S | 恢复流程中的操作或条件 | 启用 VLM 重新识别目标;真机中增加重试与重新感知 |
这里的“技能改进”范围比名称容易让人联想到的更窄。仿真实验中的策略反思主要决定是否启用已有的重新识别模板,参数反思主要调整物体对应的抓取高度。它没有证明能够从失败中自动创造任意新技能。
这种限制也有优点:修改容易检查、保存和复用。但格式与数值范围检查只能排除部分无效更新,不能证明更新确实有益或安全。
5.实验结果应该如何解读
| 实验 | 主要结果 | 能支持的结论 |
|---|---|---|
| RoboLab 场景选择 | 文本请求正确数 77/88 → 88/88;中位派发时间 28.6 秒 → 7.0 秒 | 记忆能减少搜索、改善场景选择;该实验不含物理执行 |
| 安全微调 π₀.₅ + Shield | 违规率 52.6% → 6.1% | 运行时保护在安全训练之外仍有明显价值 |
| 同一安全实验 | 无违规任务成功率 25.3% → 25.6% | 违规减少没有转化为同等幅度的安全完成率提升 |
| 200 个扰动案例 | 纯 VLA 13%;基础恢复 29%;两轮后累计 80% | 恢复加反思重试能够解决更多原始案例 |
| 770 个已有失败状态 | 纯 VLA 32.08%;基础恢复 50%;两轮后累计 76.10% | 基础恢复有效,后续迭代进一步提高累计完成率 |
| 真实机器人恢复 | 3/20 → 9/20 → 18/20 | 在所测试场景中,恢复及其修订有效,但样本较小 |
其中有三个特别重要的评价问题。
第一,80% 是累计完成率,不是最终版本单次运行的成功率。
200 个案例中:
- R0 完成 58 个;
- R1 重试此前失败案例,新增完成 83 个;
- R2 再新增完成 19 个;
- 合计 \(58+83+19=160\),即 80%。
因此,这个数字同时包含技能修改和额外重试预算的贡献。要隔离反思的价值,需要增加“同样重试次数,但恢复技能保持不变”的对照,并将最终版本在独立测试集上重新评估。
第二,低违规率与高任务完成率是不同目标。
安全微调策略加 Shield 后,违规率相对下降约 88.4%,但无违规成功率只增加 0.3 个百分点。结果说明保护机制确实减少了违规,却没有解决大量未完成任务。论文尚未充分拆解这些未完成任务中,有多少来自原策略能力不足,有多少来自保护引入的阻挡或停滞。
第三,恢复能力与失败检测能力尚未完全联合验证。
LIBERO-Recovery 实验直接给定失败状态,关闭 Judge,并在初始化后启动恢复。它能验证“从失败状态恢复”,但无法验证真实运行中的“及时、正确地发现失败”。
完整部署还依赖 Judge 的误报率、漏报率、检测延迟,以及误触发恢复是否会破坏已经完成的任务。
6.研究价值与下一步最值得补充的验证
CarryOn 最值得借鉴的是三项设计:
- 把记忆维护做成可检查的执行协议,让观察真正改变后续决策。
- 将快速几何保护与慢速语义恢复分开,适应二者不同的响应时间要求。
- 将恢复经验限制在可版本化的参数与流程中,保持底层策略稳定。
若要进一步增强论文说服力,最优先的实验是:
- 等重试预算消融:固定技能重试、仅 P、仅 S、P+S。
- 独立泛化测试:最终恢复版本面对新物体、新布局和不同扰动方向。
- 完整系统长期评测:同时统计偏好遵循、错误记忆、Judge 错误、安全完成率和总耗时。
- 安全与效率权衡:改变距离阈值、预测范围,报告碰撞率、停滞率和完成时间。
作者已提供包含四类非真机实验的官方代码仓库,可用于进一步核对实现与复现。
CarryOn 是一项有实际工程价值的机器人系统研究。它较有力地展示了冻结 VLA 外部的记忆、保护与恢复机制能改善可靠性;但“反思后具备普遍自我改进能力”仍需要等预算对照和独立泛化实验来支持。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)