首尔国立大学研究团队教会机器人“举一反三“

这项由首尔国立大学电气与计算机工程系领导的研究,于2026年7月发表在arXiv预印本平台,论文编号为arXiv:2607.00666。研究团队提出了一种名为DART(Domain ARiThmetic,领域算术)的新方法,专门解决机器人在环境变化后"认不出路"的难题。
机器人技术正在快速发展,但有一个让研究者们长期头疼的问题:机器人在某个特定环境里训练得好好的,一旦换个摄像头角度,或者换一台机器人躯体,之前学到的所有本事几乎立刻归零。这就好比一个厨师在固定厨房里练出了精湛厨艺,但只要把锅碗瓢盆换个位置,或者搬进另一个厨房,他就完全不知道该从哪里开始下手了。
对普通人来说,这个问题听起来可能有点遥远,但它的影响其实触手可及。以家用服务机器人为例,当你在客厅训练机器人帮你整理物品,然后把它搬到卧室,或者换了一台新机器人,过去训练的所有经验就白费了。研究团队意识到,让机器人在新环境里重新从头学起实在太耗时耗力——为每个新环境收集大量示范数据,就像每次搬家都要重新教孩子怎么走路一样不切实际。
DART的核心思想是:只需要在新环境里看一次任务示范,就能把这次示范里蕴含的"环境信息"提取出来,再把这个信息"叠加"到原本训练好的机器人身上,让它在新环境中完成所有熟悉的任务。整个过程不需要重新训练,不需要修改机器人的结构,效率极高。实验结果显示,DART在模拟和真实世界的多种测试场景中,均超过了现有的所有对比方法。
一、机器人为什么换个地方就"不认识路"了
要理解DART解决的核心问题,先得弄清楚现代机器人是怎么学东西的。今天最先进的机器人系统,比如这篇论文使用的π0.5和π0-FAST,都属于"视觉-语言-动作模型"(Vision-Language-Action Model,简称VLA)。这类模型把摄像头拍到的画面、人类发出的语言指令和机器人要做的动作,统统整合在一个庞大的神经网络里,让机器人既能理解"把苹果放到盘子里"这句话,又能真正动手完成这个任务。
VLA模型通常在大量数据上预先训练,涵盖各式各样的任务和环境,因此具备相当强的多任务能力。然而,一旦将这个训练好的模型放到从未见过的新环境,比如摄像头换了个角度、灯光换了颜色、甚至连机器人的手臂型号都变了,模型的表现就会急剧下滑。原因在于,模型"看世界"的方式和之前完全不同,就像你平时戴着眼镜学习,忽然被要求换上另一副度数完全不同的眼镜去考试——眼镜里看到的一切都歪歪扭扭,之前记住的所有内容都难以对应上了。
目前最直觉的解决方案是重新收集新环境里的大量示范数据,然后对模型做微调(fine-tuning)。但这个方法有两个致命缺点。第一,为每个任务都收集数据极其耗时耗力,如果一个机器人需要完成四十个不同任务,就意味着要为每个任务都找专家来演示,光是数据收集就要花费大量时间和成本。第二,只用少量数据微调往往会导致机器人"忘记"之前学到的其他技能,专业上称为"灾难性遗忘"——机器人记住了新环境里的一个任务,却把在旧环境里学会的三十九个任务都搞忘了。
正是在这个两难困境中,DART诞生了。
二、神经网络的重量里藏着什么秘密
理解DART的工作原理,需要先弄清楚神经网络里的"权重"(weights)是什么。你可以把一个训练好的神经网络想象成一本巨大的食谱书,里面每一页都是机器人应对某种情况的处理方式。这本书由数以亿计的数字组成,每个数字叫做"权重",它们共同决定了机器人如何将输入的图像和语言转化为具体的动作。
当我们用新数据对模型做微调,本质上是在这本食谱书上做修改——把一些数字调大、把另一些数字调小。研究团队把微调前后权重的差值称为"更新向量"(update-vector),也就是"修改的内容"。问题来了:这些修改的内容里,到底包含哪些信息?是新学会的任务技能?还是对新环境的适应?还是两者都有?
研究团队发现了一个关键事实。当他们在新环境里只用一次示范来微调模型时,得到的更新向量里,绝大多数内容是关于"这个任务怎么做"的信息,只有很少一部分是关于"新环境长什么样"的信息。这就好比你换了一个新厨房,只做了一次蛋炒饭,但你记在脑子里的,九成是"怎么炒蛋炒饭",只有一成是"新厨房里锅在哪、炉子怎么开"。
用一次示范直接微调,机器人确实记住了在新环境里做那个特定任务,但它对新环境的整体适应能力却几乎没有提升,导致面对其他任务时仍然一片茫然。这就是一次性微调在多任务场景下失败的根本原因。
三、任务信息和环境信息真的可以分开吗
发现了更新向量里任务信息和环境信息混杂的问题之后,研究团队进行了一项更深入的探究:这两类信息在权重空间里,是随机混合在一起的,还是有各自独立的方向?
为了回答这个问题,他们设计了一个巧妙的实验。他们收集了多个任务、多个环境下的更新向量,然后计算这些向量之间的"子空间对齐分数"(subspace alignment score)。这个分数可以理解为:两组修改内容,在方向上有多少重叠?如果两组修改完全朝同一个方向,分数就是1;如果完全无关,分数就接近0。
实验结果非常清晰。同一任务、不同环境下的更新向量,彼此之间有极高的对齐分数,说明它们主要在同一个方向上修改权重——任务的技能信息在不同环境里几乎是共通的。同一环境、不同任务的更新向量之间,对齐分数略低但仍然明显高于完全不同任务和不同环境的组合——环境的适应信息在不同任务里也存在共通的方向。
研究团队进一步验证了一个大胆猜想:每个更新向量,是否可以近似地拆分为"任务方向"加上"环境方向"两个独立部分?他们通过计算"任务原型"(所有环境下同一任务的更新向量平均值)、"环境原型"(所有任务下同一环境的更新向量平均值)和"全局原型"(所有情况下的平均值),然后将任务原型加上环境原型再减去全局原型,得到一个"组合估计"。结果发现,这个组合估计与真实更新向量的对齐分数,比任何单独的原型都更高。这证明了任务方向和环境方向确实可以近似地线性叠加,相互之间干扰很小。
更进一步,研究团队还发现,不同程度的环境变化会产生不同但有规律的环境方向:摄像头角度小变、中变、大变分别对应类似的方向,噪声干扰和光线变化各自有自己的方向,而"角度变化加上噪声"的组合,则产生一个部分复用了"角度变化方向"和"噪声方向"的更新向量。这说明机器人神经网络里的环境知识,以一种有组织、有结构的方式被存储着,每种环境变化都对应权重空间里一个特定的方向。
四、像语言学一样做加减法——DART的核心操作
有了以上的理论基础,DART的核心操作就呼之欲出了。灵感来自于自然语言处理里的一个著名例子:"国王 - 男人 + 女人 = 女王"。在词向量空间里,"王权"和"性别"是相对独立的方向,可以做加减法来转换概念。研究团队把同样的思路搬到了机器人的神经网络权重上。
具体操作是这样的。首先,在原来的训练环境(源域)里,用同一个任务的一次示范来微调模型,得到"源域更新向量";然后,在新环境(目标域)里,用同一个任务的一次示范来微调模型,得到"目标域更新向量"。由于两次微调都是同一个任务,两个更新向量里的"任务方向"应该大致相同。用目标域更新向量减去源域更新向量,相同的任务方向就被抵消掉,剩下的差值,主要就是"新环境的方向",也就是DART所说的"领域向量"(domain vector)。
最后,把这个领域向量加回到原始训练好的基础模型上,就得到了一个"新版本"机器人——它保留了原来学会的所有任务技能,同时对新环境有了适应能力。因为领域向量是从权重空间里的"环境方向"提取出来的,加入它不会破坏原有的任务知识,机器人可以同时完成之前学会的所有任务,而不只是用于提取领域向量的那一个任务。
整个过程只需要在新环境里收集一次示范,极大地降低了数据收集的成本。
五、过滤噪音——让领域向量更纯净
理论上,直接做减法就能得到领域向量,但实际操作中会遇到两个麻烦。一次性微调训练时,模型不可避免地会学到一些与任务和环境都无关的"噪声"——就像你学厨艺时,有时候会记住一些和烹饪无关的杂项,比如当时厨房里的噪音或气味。这些噪声在减法后不会被消除,反而会留在领域向量里,让它不够干净。此外,源域和目标域的更新向量在"子空间"(可以理解为权重变化的主要方向)上可能存在轻微偏差,直接相减会导致没有完全对应上的部分残留下来,引入源域的干扰信息。
为了解决这个问题,DART设计了两个精细化操作,分别叫做"子空间过滤"(subspace filtering)和"子空间缩放"(subspace scaling)。
子空间过滤的工作原理,可以用一个类比来理解。把源域更新向量拆分成若干个"基本方向"(通过奇异值分解,SVD),然后检查每个基本方向与目标域更新向量的主要方向有多大重叠。重叠程度高的,说明这个方向是源域和目标域共同都有的,也就是"任务方向",需要被减去。重叠程度低的,说明这个方向是源域特有的杂项或噪声,减去它反而会引入干扰,所以在做减法之前先把它过滤掉。过滤的程度由两个更新向量之间的整体对齐分数来动态确定,对齐分数越高,就保留越多基本方向参与减法。
子空间缩放则更简单直接:用源域和目标域整体对齐分数,对得到的领域向量做一个整体的缩放。如果两者对齐分数很低,说明两个更新向量方向差异很大,减法得到的领域向量可能充满了噪声,就把它的影响调低;如果对齐分数高,说明减法结果可靠,就保留较强的影响。
最终,DART得到的公式可以概括为:适应后的模型 = 基础模型 + α × 精炼后的领域向量。其中α是一个控制适应强度的系数,通过少量试验就能确定,而且研究发现这个系数在很大范围内都表现稳定,不需要精确调参。
六、在模拟和真实世界里的实际表现
DART的效果到底如何?研究团队在多个场景下进行了全面测试,覆盖模拟环境和真实机器人实验。
在模拟环境里,他们使用了LIBERO这个机器人操作基准平台,共包含四个任务套件、总计四十个任务。实验中,他们给摄像头施加了三个程度的视角偏移(小、中、大),同时还测试了在视角偏移基础上叠加摄像头噪声和灯光变化的组合情况。以π0.5模型为例,原始模型(零样本,不做任何适应)在小视角偏移下成功率为88.3%,中视角偏移下降到63.9%,大视角偏移则只剩11.3%,平均54.5%。一次性微调由于任务泛化失败,平均只有31.5%,甚至比不做适应还差。而DART在同样的一次示范预算下,小、中、大视角偏移分别达到92.0%、80.8%、64.4%,平均79.1%,超过了所有对比方法,包括RETAIN(平均69.6%)和FLA(平均74.3%)。
在叠加噪声和光线变化的组合测试中,DART同样保持领先,在视角加噪声加光线变化的最复杂条件下,成功率达到75.0%,而最接近的对比方法FLA只有71.5%。
研究团队还测试了换机器人躯体的情况,即"跨躯体迁移"。他们用Panda机械臂训练的模型,通过DART只用一次UR5e机械臂的示范,成功迁移到UR5e上。在Stack(叠放积木)和Stack Three(叠放三块积木)两个任务上,DART的进度率和成功率均大幅超过零样本基线和一次性微调。特别是Stack Three这个难度较高的任务,零样本成功率只有37.2%,一次性微调更降到28.0%,而DART达到了45.4%。
真实世界的测试用的是UR10e机械臂,共五个任务:捡茄子、捡柠檬、捡胡萝卜、叠积木和按压订书机。只用了一次"叠积木"在目标视角下的示范,DART就让机器人在五个任务上的平均成功率从43.3%跃升到81.7%,其中捡茄子、捡柠檬两个任务甚至达到了91.7%的高成功率。相比之下,其他方法在真实世界里的表现明显逊色,最好的FLA也只有55.0%。
此外,研究团队还验证了DART适用于不同架构的VLA模型。π0-FAST是一种用自回归方式生成动作的模型,与π0.5的流匹配机制完全不同,但DART在π0-FAST上同样取得了最佳性能,证明该方法不依赖特定模型结构。
七、领域向量还可以"合并存储"
DART还有一个令人惊喜的性质:不同环境的领域向量可以合并成一个"综合领域向量",让一个机器人同时适应多个不同的新环境。
研究团队将小、中、大三个视角偏移各自的领域向量,用多种模型合并方法组合成一个综合向量,然后用这个综合向量来适应基础模型。结果发现,合并后的模型在三个视角下都保持了相当不错的性能,平均成功率最高达到75.7%,虽然不及分别适应的79.1%,但已经相当实用。这个性质的实际意义在于:部署一个机器人系统时,不需要为每个可能遇到的环境单独存储一个领域向量,只需要一个综合向量就能覆盖多种情况,大幅减少了存储和管理的复杂度。
研究团队还分析了DART适应后,机器人在原始训练环境里的表现是否会下降。结果非常令人满意:DART适应后,原始环境下的成功率仅下降了约2至3个百分点(例如,原始平均成功率96.9%,适应大视角偏移后在源域仍有94.0%),说明DART基本上保留了原有的多任务能力,没有产生明显的遗忘。
八、关于源域数据和实际操作的更多细节
有读者可能会问:DART需要在源域里也做一次微调,这意味着还需要源域的示范数据,会不会增加额外负担?研究团队对此做了详细解释。在绝大多数实际场景中,机器人最初的训练数据本来就来自源域,这些数据天然就可以作为DART的源域示范。而且DART每个任务只需要一次示范,从现有训练数据中取第一条轨迹就可以,完全不需要额外收集。
更灵活的做法是,从源域训练数据里先选一个任务,然后去目标域收集这个任务的示范,这样就自然保证了两边用同一个任务。研究团队还测试了当源域和目标域用不同任务时的性能:如果用相关性最高的任务(通过特征余弦相似度自动筛选)代替,性能虽有所下降(从80.8%降到69.0%),但仍然远超随机选任务(57.7%)。这说明即使无法做到完美任务匹配,DART依然有实用价值,还有提升空间。
在计算效率方面,DART的主要计算成本在于对更新向量做奇异值分解。为了加速这个过程,研究团队引入了随机化奇异值分解(Randomized SVD)作为近似替代,运行时间从15分35秒缩短到6分33秒,而性能下降可以忽略不计(平均成功率从79.1%到78.7%)。
消融实验则分别关掉了子空间过滤和子空间缩放,验证它们各自的贡献。结果显示,单独去掉过滤或缩放都会导致性能略微下降,两者合用效果最好(79.1%),而完全不用任何子空间处理则是78.1%。这说明核心的加减法操作本身就有很强的效果,而两个精细化步骤进一步锦上添花。
九、DART为什么会有效——神经网络的深层原因
DART之所以能成功,背后有一个深层的理论支撑。VLA模型是建立在大型视觉-语言预训练模型基础上的,而研究表明,这类预训练模型在针对不同任务微调时,倾向于修改权重空间中相互正交(也就是方向上互不干扰)的子空间。不同任务的知识被"存储"在不同的权重方向上,彼此之间干扰极小,这正是DART能做加减法的前提。
为了直观验证这一点,研究团队把任务原型和环境原型分别加回基础模型,然后检查模型内部最后一层的特征变化。结果发现,任务原型主要改变了与语言指令相关的词语标记(token)特征以及任务相关物体的图像特征;而环境原型则主要改变了背景区域的图像特征。两者影响的区域不同,恰好印证了任务信息和环境信息在权重空间里"分区存放"的假设。
从逐层分析来看,模型不同模块对领域变化的敏感程度也不同。视觉编码器(处理图像)和语言模型(处理语言指令和推理)部分,领域向量的影响最为显著;而动作专家(直接输出机器人动作)的影响较小。这表明摄像头视角的变化,不仅仅影响图像的"看",还会连带影响语言条件下的决策推理,所以必须对整个模型做适应,而不只是更换视觉编码器。
从实验数据也可以看到,只适应视觉编码器的FLA方法,在大视角偏移下的成功率(54.3%)明显低于适应整个模型的DART(64.4%),这正是全模型适应的重要性的直接体现。
说到底,DART做的事情用一句话来概括,就是:把新环境里的一次示范,变成可以让整个机器人系统举一反三的"环境密钥"。这把密钥不是通过重新训练整个机器人,而是通过精巧的权重加减法提取出来的。它代表的是一种范式上的转变——与其在每个新环境里从头教机器人做每件事,不如只教它一件事,然后让它自己用已有的本领应对一切。
机器人能力的边界,正在被这把小小的"密钥"慢慢打开。有兴趣深入了解技术细节的读者,可以在arXiv平台通过编号2607.00666查阅完整论文,研究代码也已开源,地址在论文中有明确说明。
Q&A
Q1:DART方法需要多少次示范才能让机器人适应新环境?
A:DART只需要在新环境里收集一次任务示范,同时还需要在原来训练环境里有同一任务的一次示范(通常从已有训练数据中直接取用,不需要额外收集)。这两次示范就足以提取出环境信息,让机器人在新环境里完成所有学过的任务。
Q2:DART适应后机器人会不会忘记原来学会的任务?
A:不会,或者说遗忘极少。实验数据显示,DART适应到新摄像头视角后,机器人在原始训练环境里的成功率仅下降约2到3个百分点,从约96.9%降到约93至94%左右,保留了绝大部分原有的多任务能力。这是DART相比直接微调的一大优势——直接微调往往会导致严重遗忘。
Q3:DART只适用于摄像头角度变化,还是也能处理换机器人躯体的情况?
A:DART可以处理多种类型的环境变化,不只是摄像头角度。论文中验证了三类场景:摄像头视角偏移(小、中、大程度)、叠加噪声和光线变化的组合视觉扰动,以及从Panda机械臂换到UR5e机械臂的跨躯体迁移。三种场景下DART均超过了现有对比方法,说明其适用范围相当广泛,核心算法不需要针对不同情况做任何修改。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)