机器人端上菜,它怎么知道该不该把肉端给一个吃素的人

设想一个场景。你坐在家里,跟机器人说了一句"帮我上菜"。没有说明是什么菜,没有说明你的饮食偏好,就这么简单一句话。
机器人走到灶台边,掀开一个盖子,发现下面是一块肉。它会怎么做?
如果这个机器人只是一个训练有素的"动作执行者",它大概率会直接把肉端给你,因为指令里就是"上菜",而盖子底下确实有菜。但如果你上个月告诉过这个机器人你吃素,它应该做的是拒绝端菜,并且记得把"锅里是胡萝卜"这个过时的记忆更新成"锅里是肉"。
这背后藏着一个被很多人忽略的问题。现在能干活的机器人越来越聪明了,无论是搬运东西还是叠衣服,底层那个负责"看懂指令、做出动作"的AI模型(也就是VLA,全称是视觉-语言-动作模型,简单说就是能看懂画面、听懂人话、然后指挥机械臂动起来的大脑)已经能完成很多任务了。
但聪明的手不代表聪明的判断力。一个机器人可以很擅长"抓取物体""绕开障碍",却完全不知道你今天心情不好不想吃辣,也不知道上周你说过自己对海鲜过敏。更麻烦的是,就算它知道了你的偏好,执行过程中手一抖把东西掉了,它接下来该怎么办?是呆站在原地,还是胡乱重新抓取可能伤到周围的东西?
香港科技大学、香港中文大学联合SmartMore公司的研究团队,盯上了这两个问题。他们的解法不是重新训练一个更聪明的VLA模型,而是在已经训练好的VLA外面,套上一层"管理系统"。这个系统叫CarryOn,中文大概可以理解成"接着干"或者"扛起来"。
这篇论文最打动我的地方在于,它没有去卷模型本身的智能程度,而是意识到一个更朴素的事实:机器人缺的不是更聪明的手,而是一个靠谱的"大脑外挂",一个知道你是谁、记得你说过什么、并且能在出错时兜底的系统。
核心问题:聪明的手,糊涂的脑
在深入CarryOn的设计之前,有必要搞清楚现有VLA模型到底卡在哪里。
VLA(Vision-Language-Action Model):一类能同时处理视觉画面、语言指令,并直接输出机械臂动作的AI模型,是目前机器人操作领域的主流技术路线。
研究团队做了一个很直接的压力测试。他们拿了一个号称经过"安全微调"的π0.5模型(这是业界比较先进的VLA之一,专门用1.9万多条安全演示数据训练过,目的是让它别乱碰东西),在900个真实评测场景里测试,结果违反安全约束的比例高达52.6%。什么概念?相当于每两次操作里就有一次存在磕碰风险,哪怕这个模型已经专门针对"安全"这件事做过强化训练。
如果不是经过安全微调的原始模型,这个数字更难看,达到71.1%。换句话说,哪怕你花大价钱做了安全训练,机器人在真实环境里依然有一半以上的概率会撞到不该碰的东西。这不是模型不够努力,而是VLA这类端到端模型天生缺乏对物理约束的显式理解,它学的是"看到这个场景该怎么动",而不是"这个动作会不会撞到旁边那个花瓶"。
另一个测试更扎心。研究团队在仿真环境LIBERO-Object里做了个实验:让机器人抓起一个物体,然后人为地把物体移动12厘米(模拟手滑或者外部干扰)。结果原本能做到100%成功率的任务,成功率暴跌到13%。移动20厘米的话,成功率直接归零。
这说明一个很现实的问题:这些VLA模型在"标准剧本"里演得很好,但只要现实世界给它加一点点意外,它就彻底懵了。它不知道该怎么应对"计划之外"的情况,因为它从来没被教过"失败之后怎么办"。
这就是研究团队想解决的两件事。第一,机器人要知道"为谁服务、服务什么",这需要记忆和个性化的判断力。第二,机器人要在物理世界里"靠谱地执行",这需要主动防护和失败后的自我修复能力。
双循环架构:给机器人装一个"管家"和一个"保镖"
CarryOn的核心设计思路,是在冻结不动的VLA模型外面,套两个循环系统。
一个叫规划循环(Planning Loop),负责决定"该做什么"。另一个叫执行循环(Execution Loop),负责保证"做的时候别出事"。
这个架构的巧妙之处在于,它完全不用去改动底层VLA模型的参数。VLA依然是那个只会"看图做动作"的工具,但外面包了一层负责思考和纠错的系统。
打个比方。你雇了一个身手很好但有点一根筋的保安,他力气大、反应快,能完成各种体力活,但你不能指望他自己判断"这个访客该不该放进来"。于是你给他配了两个搭档:一个管家负责告诉他"今天谁要来、这个人有什么特殊要求",一个安全顾问实时盯着他的动作,一旦发现要撞到人就立刻拦住,撞完了还要帮他把局面收拾好再让他继续干活。这个保安本身一点没变,但整个团队的表现会完全不一样。
如果没有这两个搭档会怎样?保安依然很能干,但他会机械地执行每一个指令,不会记得你上次说过不吃辣,也不会在撞到东西之后想办法补救,只会一条路走到黑或者彻底卡住。
规划循环:让机器人拥有"记忆"
规划循环要解决的核心问题是,机器人怎么在不被反复告知的情况下,记住关于你的事,同时记住环境里发生了什么变化。
这里引入了两种记忆。一种叫用户记忆(User Memory),存的是跟人有关的持久信息,比如饮食偏好、生活习惯、物品归属。另一种叫场景记忆(Scene Memory),存的是跟环境有关的信息,比如"粉色盖子底下是胡萝卜"这种物品位置记录。
用户记忆(User Memory):存储用户的偏好、习惯等长期有效信息的数据库,比如"用户是素食主义者"。
场景记忆(Scene Memory):存储环境中物品位置、状态等信息的数据库,比如"蓝色盖子下面是肉"。这类信息会随着观察结果不断更新。
光有记忆还不够,真正的难点在于"什么时候该相信记忆,什么时候该相信眼前看到的"。
研究团队设计了一套规则。对于用户记忆,系统会区分"这是一次性的要求"还是"这是长期偏好"。比如用户说"今天不想吃肉",这是临时的,不会写入长期记忆;但如果用户说"我从今以后不吃肉了",这就是持久偏好,会被记下来。系统靠一个叫做"持久性过滤器"的提示词规则来做这个判断,具体逻辑是只有明确表达长期有效的陈述才会被写入档案,临时的愿望或者波动性的信息(比如天气、心情)一律不记。
对于场景记忆,规则更直接:一旦机器人实际观察到的东西和记忆里记录的不一致,比如记忆说盖子底下是胡萝卜,结果掀开一看是肉,系统必须在下一次规划里强制写入一条更新记录,否则这个计划会被验证器打回去重新生成。这保证了机器人不会一直活在过时的认知里。
这套设计的价值在于,它让机器人的"个性化服务"变得可持续。如果没有这套记忆机制,每次对话都是一张白纸,用户永远要重复一遍自己的要求,机器人永远不知道上次观察到的情况现在是否还成立。
研究团队做了一系列真实机器人实验来验证这套设计。在"做三明治"的测试里,系统被要求在用户早先提过饮食偏好、之后又修改偏好的情况下做出正确反应。结果显示,在偏好更新后,系统依然能以83.3%(20/24)的准确率正确调整三明治的配料,比如从素食版本换成含肉版本。
在"根据活动打包行李"的测试里,系统需要综合用户的居住地天气(通过联网查询获取)、用户的活动安排(跑步、健身、逛公园)、以及用户的个人习惯,来决定该带伞还是带帽子。这个测试准确率达到100%(16/16),证明系统能把多个信息源融合起来做出合理判断。
还有一个很有意思的测试叫"记忆修正"。研究团队故意把记忆里记录的物品位置换掉,测试机器人能不能通过新的观察发现矛盾、修正记忆、并且在后续请求里用上修正后的信息。结果显示,文字查询下记忆修正成功率是76/88,图片查询下是77/88,后续基于修正记忆做出正确判断的比例分别是83/88和85/88。这说明这套记忆系统不是一次写入就永久生效的黑盒子,它会随着新证据不断自我纠错。
执行循环:主动防撞和事后补救
规划循环解决了"该做什么"的问题,执行循环要解决的是"做的时候和做完之后怎么办"。
这里拆成两个子系统。一个叫主动防护盾(Proactive Shield),在动作执行之前就提前拦截可能有危险的操作。另一个叫被动恢复(Reactive Recovery),在动作已经失败之后负责补救。
先说防护盾。它的工作原理是,每次VLA生成一串动作指令之后,防护盾不会直接放行,而是先在"脑子里"模拟一遍这些动作执行后机械臂和所抓物体会移动到哪里,然后检查这个预测轨迹会不会撞到不该碰的东西。
这里有个精妙的细节。系统不会把场景里所有东西都当成"障碍物",因为抓取和放置任务本身就需要和目标物体、目的地接触,如果把所有东西都当障碍,机器人就彻底没法干活了。所以系统专门用一个视觉模型先识别出"哪些是允许接触的目标物、支撑面和目的地",剩下的才算障碍物。
这个设计让我想到开车时的自适应巡航系统。它不会把前方所有车辆都当成要紧急刹车的威胁,而是持续计算"按照现在的车速和前车距离,还有多久会追尾",只有真正逼近危险阈值才介入。如果不这样设计,而是看到前面有车就一律急刹,那车根本没法正常行驶。防护盾的逻辑也是同理,它允许机械臂靠近并接触目标物体,只拦截那些会撞到"不该碰"区域的动作。
具体的拦截机制是,系统会计算接下来几步动作执行后,机械臂(或者手里抓着的物体)和障碍物之间的最小距离。一旦这个距离在某一步降到阈值以下,系统就只放行这个危险点之前的动作,后面的全部砍掉;如果一开始就危险,系统会直接命令机械臂先往上往后撤退,重新评估周围环境再决定下一步。
这套防护盾在LIBERO-Safety基准测试(专门评测物理安全和语义安全的测试集)上的效果相当亮眼。前面提到的安全微调过的π0.5模型,原本违规率是52.6%,加上这套防护盾之后降到6.1%。对比另一种叫VLSA的安全方案(一种基于屏障函数的安全层技术),同样的模型加上VLSA只能把违规率降到37.7%。
更难得的是,这套防护盾在不同的VLA模型骨架上都有效。研究团队还测试了OpenVLA-OFT和VLAct这两种不同的模型,加上CarryOn的防护盾后,违规率分别从61.4%降到17.2%,从69.3%降到26.1%。这证明这套方案不是针对某个特定模型的补丁,而是一套通用的安全层。
再说被动恢复。这部分处理的是"已经发生的失败",比如机械臂抓取的物体掉了,或者被外部干扰碰掉了。
系统的核心组件叫判官(Visual Judge),它不断对比当前画面和任务开始时的画面,判断任务是还在进行中、已经成功、还是已经失败。一旦判定失败,系统会暂停VLA,调用一个叫恢复技能(Recovery Skill)的预设程序来修复物理状态,等状态恢复正常了再把控制权交还给VLA继续原来的任务。
恢复技能库(Recovery Skill Library):一组专门用来处理"任务中途失败"情况的控制程序,比如重新抓取掉落的物体。这些技能会随着失败经验不断迭代升级,形成不同版本。
基础版的恢复技能走的是"观察、重新定位、验证、继续"这四步流程。先把机械臂移到观察位置重新找到目标物体,生成抓取候选方案并执行抓取,抬起来检查抓没抓稳(通过测量夹爪开合宽度判断),如果抓稳了就把物体带到目的地附近再检查一次是不是还抓着,确认无误后让VLA从这个位置继续原本的任务。
这个流程听起来简单,但它解决了一个关键问题。如果没有这套恢复机制,机器人在物体掉落后要么完全卡死,要么继续执行错误的后续动作(比如对着空荡荡的夹爪做"放置"动作)。有了这套机制,机器人至少有机会把局面拉回正轨。
但基础版恢复技能的成功率并不高。在仿真测试里,面对12厘米位移的干扰,只用基础恢复技能,成功率是29%(58/200)。这说明光有"兜底方案"还不够,这个兜底方案本身也需要不断优化。
反思式迭代:让失败经验变成更聪明的补救策略
这是整篇论文里我觉得设计得最精巧的部分。研究团队没有满足于"有一个恢复技能就够了",而是引入了一套离线反思(Offline Reflection)机制,让恢复技能能够根据过去的失败案例不断进化。
离线反思(Offline Reflection):在正式评测轮次之间,系统会回顾本轮未能成功恢复的失败案例,分析原因并提出改进方案,这个过程不需要实时在线进行,所以叫"离线"。
具体来说,系统维护两种"记忆",一种叫策略记忆(Strategy Memory),记录的是恢复流程本身要不要改变,比如要不要增加重试次数、要不要引入视觉语言模型辅助重新确认目标物体身份。另一种叫参数记忆(Parameter Memory),记录的是具体数值要不要调整,比如抓取高度要不要往下降一点。
每一轮评测结束后,反思模块会挑选最多三个失败案例,结合失败时的画面、抓取阶段的测量数据,分析问题出在哪,然后提出修改建议。这些建议会经过一个审核环节(拒绝格式不对或数值超出合理范围的提议),通过审核的修改会被整合进下一个版本的恢复技能,存入技能库供后续调用。
这套机制最打动我的地方在于,它让"试错"这件事变得结构化、可追溯、可积累,而不是每次失败都从零开始猜。
研究团队给了一个很具体的案例,是关于一瓶烧烤酱的恢复失败分析。第一轮用空白记忆测试,20次里只成功3次,原因是抓取高度定在66.0毫米,结果机械臂下降时卡在了109到113毫米的位置,根本够不到。反思模块看了失败画面后发现,算法选中的那个区域画面显示的其实是番茄酱瓶子,不是目标的烧烤酱瓶子,于是建议启用视觉语言模型重新确认目标身份,同时把抓取高度调整到110毫米。
第二轮测试,成功率提升到了3/17(这里说的是本轮内独立测试的失败数,累计成功率在提升),下降高度问题解决了,但抓取之后物体经常在提起过程中滑落。反思模块这次判断目标身份识别没问题,只是抓取高度还需要微调,建议改成105毫米。
第三轮测试,11/14成功,整个任务的累计完成率从3/20一路爬升到17/20。
这个案例让我想起学骑自行车的过程。第一次摔倒是因为把手没扶稳,第二次摔倒是因为刹车捏太猛,每一次摔倒教会你的东西不一样,如果没有人帮你复盘到底是哪个环节出了问题,你可能会一直在原地重复同一种错误。CarryOn的反思机制本质上就是在替机器人做这种复盘,只不过复盘的对象换成了抓取高度这类具体的控制参数。
在更大规模的仿真测试里,这套迭代机制的效果也很明显。在200个LIBERO任务(叠加12厘米位移干扰)的测试中,只用基础恢复技能,累计成功率29.0%;经过一轮反思改进后,成功率跳到70.5%;再经过第二轮反思,成功率达到80.0%。
这里有个对比特别值得说一说。研究团队还测试了另外两个基线方法。一个叫CaP-X(一种代码生成式的机器人操作框架,不依赖VLA),累计成功率只有5.0%。另一个叫Harness VLA(同样是给冻结VLA套管理层的思路,但没有这套反思迭代机制),累计成功率是50.5%,比CarryOn的29%(未反思版本)高,但远低于CarryOn经过两轮反思后的80%。
更关键的是算力成本。CarryOn完成两轮反思总共消耗41109个API token,而Harness VLA消耗了3829605个token,相差近百倍。这说明CarryOn不是靠堆算力硬刚出来的效果,而是靠结构化的反思让每一次试错都更有价值。
在另一个专门测试"自然失败状态恢复"的基准LIBERO-Recovery上(这个基准直接提供770个真实的失败场景,不需要额外施加干扰),纯VLA的成功率是32.08%,加上CarryOn基础恢复技能后提升到50.00%,经过两轮反思迭代后达到76.10%。
真实机器人上的综合验证
仿真测试证明了方法的有效性,但真实机器人上的表现才是最终的试金石。
研究团队在真实机械臂(Franka Research 3)上做了一个综合场景测试,前面提到的那个开头故事,一个吃素的用户让机器人"上菜",机器人需要掀开盖子、判断里面是什么、决定要不要端上来、同时在搬运过程中绕开障碍物,并且应对中途被人为打断的抓取失败。
结果显示,在胡萝卜的那轮测试里,机器人根据场景记忆掀开锅盖,开始搬运时防护盾成功绕开了电饭煲这个障碍物。实验人员故意把胡萝卜从机械臂上打掉(模拟抓取失败),判官检测到失败后触发恢复流程,重新抓起胡萝卜,交还控制权给VLA完成最后的放置动作。
在替换成肉的那轮测试里,机器人掀开锅盖后发现实际内容和记忆记录(胡萝卜)不一致,立刻用新观察更新了场景记忆,然后基于用户的素食偏好,直接拒绝了端菜这个请求。
这个对照实验很好地展示了CarryOn这套系统的价值所在。同样是"任务中断",胡萝卜掉落属于"任务本身没问题,但执行出了意外",系统的反应是修复并继续;而锅里是肉这件事属于"任务本身就不该执行",系统的反应是终止并拒绝。如果机器人分不清这两种情况,要么会在合理任务中断时直接放弃(把本可以修复的小意外当成任务失败),要么会在不合理任务中硬着头皮执行(把不该做的事情强行完成)。
能够区分"物理层面的失败"和"决策层面的不合理",这正是CarryOn这套双循环架构真正想解决的核心矛盾。
论文里还有另外两组真实机器人测试值得一提。一组是关于"隐藏食材检索",让机器人在多个带盖容器里找到指定食材,测试场景记忆能不能有效指导搜索、减少不必要的试错。在"先写入记忆再检索"的条件下准确率达到100%(12/12),在完全没有记忆、靠逐个开盖摸索的条件下准确率是80%(8/10)。
另一组是关于RoboLab仿真环境里的多场景切换(厨房、书桌、车库、餐桌四个场景),测试机器人能不能根据文字描述或者照片,准确判断该去哪个场景执行任务。结果显示,没有记忆辅助时,无论是文字查询还是图片查询,正确率都是77/88,平均耗时30秒左右;加上记忆辅助后,正确率提升到88/88(满分),耗时也压缩到7秒左右。这说明记忆不仅提升了准确性,还大幅提升了响应速度,因为机器人不用每次都重新"环顾四周"才能做决定。
这个结果让我联想到一个很朴素的生活经验。一个刚搬进新公司的新人,每次要找会议室都得四处打听,而一个干了三年的老员工,听到"去B座三楼"几个字就能立刻动身。记忆带来的不只是"少犯错",更是"少费劲"。
写在后面
读完这篇论文,我最大的触动不是任何一个具体的技术细节,而是研究团队选择的切入角度。
这几年机器人操作领域的竞赛,大多数团队都在卷"VLA模型本身能不能更聪明、训练数据能不能更大、动作预测能不能更精准"。CarryOn这篇论文选择了一条完全不同的路,它说VLA先别动,我们给它配一套"管理系统"就够了。
这种思路的价值不在于技术多么前沿,而在于它承认了一个现实:端到端的大模型再聪明,也很难同时兼顾"长期记忆的个性化判断"和"短期执行的实时纠错"这两种完全不同的能力需求。前者需要的是跨时间、跨对话的信息整合,后者需要的是毫秒级的物理反应速度,这两种需求如果硬塞进同一个模型里训练,大概率会互相打架。把它们拆成外挂的两个循环,反而让每个部分都能做得更专精。
论文里有一个数据我反复看了好几遍,就是安全微调过的VLA模型,违规率依然高达52.6%。这个数字打破了我原本的一个预设,我以为"安全微调"这种针对性训练手段应该能把问题解决得差不多了,结果发现哪怕专门训练过,端到端模型依然很难把"物理世界的硬约束"内化成稳定的行为习惯。这也从侧面说明,单纯堆训练数据可能不是解决机器人安全问题的最优路径,显式的几何约束检查(像CarryOn的防护盾那样)依然有它不可替代的价值。
另一个让我觉得有意思的点,是那个烧烤酱瓶子的反思案例。它展示的不是一个宏大的技术突破,而是一种很朴素的工程智慧:让系统能解释自己为什么失败,比让系统永远不失败更现实,也更可持续。
这篇论文还留了一些没有展开的问题。比如恢复技能的经验能不能跨任务迁移(今天学会的"抓取烧烤酱瓶子"的经验,能不能帮到明天"抓取洗发水瓶子"的任务),论文里提到这是未来要探索的方向,但目前还没有答案。另一个问题是,主动防护和任务完成度之间的平衡怎么把握,防护盾拦截得太保守,机器人可能什么都不敢干;拦截得太宽松,安全性又会打折扣,这个度目前看起来还是靠经验设定的阈值,而不是一个理论上的最优解。
如果有一天你家里真的有一个会做饭、会端菜的机器人,它大概不会因为更聪明的"手"而让你放心,而是因为它记得你上次说过不吃辣,也记得在东西掉了的时候该怎么捡起来再端给你。
Q&A
Q1:CarryOn是什么?
A:CarryOn是香港科技大学、香港中文大学和SmartMore联合研发的机器人辅助系统,它不改动已训练好的VLA模型本身,而是在外面套一层双循环管理架构,负责个性化任务判断和物理执行安全,让机器人既能记住用户偏好,又能在出错后自我修复。
Q2:CarryOn能把机器人的安全性提升多少?
A:在LIBERO-Safety基准测试中,一个经过安全微调的VLA模型原本违规率是52.6%,加上CarryOn的主动防护盾后降到6.1%,对比另一种叫VLSA的安全方案只能降到37.7%,效果提升明显。
Q3:机器人抓取物体失败后,CarryOn怎么帮它恢复?
A:CarryOn会先暂停VLA,调用恢复技能重新定位并抓取物体,验证抓稳后再让VLA继续任务。基础版成功率约29%,经过两轮基于失败案例的反思迭代后,成功率能提升到80%。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)