26年6月来自新加坡国立和美国MIT的论文“GROW2: Grounding Which and Where for Robot Tool Use”。

如果没有刀，机器人能用盘子切蛋糕吗？工具的使用极大地扩展了机器人的能力；然而，若要创造性地使用工具（即超越其预设功能），机器人便面临着“开放世界affordance定位”的挑战：即从开放类别中选择一个物体作为工具，并定位其具体的动作区域。为此，提出 GROW2（GROunding Which and Where）框架。该框架利用物体部件作为一种自然抽象，将定位过程分层拆解为语义和几何两个层面，从而避免对海量数据进行端到端训练的需求。在语义层面，GROW2 利用视觉-语言模型（VLM）的常识推理能力，解析自然语言任务指令，选择合适的物体作为工具，并识别工具及目标物体上与任务相关的部件。在几何层面，视觉基础模型随后根据单张 RGB-D 图像，将选定的部件映射为精确的 3D 区域。在既有基准测试上的实验表明，GROW2 在affordance预测任务中优于当前最先进的基线方法。

---

人类具备一种非凡的能力，能够以即兴方式使用工具：在充斥着各种日常物品的杂乱场景中，能够识别出哪种物品可用作所需工具，并通过恰当的交互方式加以利用 [1, 2, 3]（图 1）。例如，当手头没有刀时，可以利用盘子的边缘来切蛋糕。这里目标是将这种能力赋予机器人，从而扩展其可行的操作策略，并提高其在家庭和仓库等非结构化环境中的鲁棒性。

为了实现即兴工具使用，机器人必须对环境进行推理，确定哪种物品可用作工具，并找出该物品上适于执行目标动作的交互区域。与以往关于机器人工具使用的研究不同，既不预先指定工具对象 [4, 5, 6]，也不依赖于具有预定义“工具-功能”映射的固定工具集 [7, 8, 9]。相反，本研究致力于解决开放世界中的“affordance”定位问题：即从场景中的开放类别对象集合中选择一个工具，并预测其affordance区域。

开放世界affordance定位面临两大主要挑战：(i) 系统需要从语义层面理解开放类别对象的affordance。例如，若要切蛋糕，机器人应识别出具有锋利边缘的物体；尽管盘子和簸箕在局部几何形状上可能相似，但机器人应优先选择盘子。(ii) affordance必须定位到精确的几何区域，以便进行后续的操作。这种定位过程应基于具体任务和环境，并具备泛化到开放类别对象的能力。传统方法通常构建大规模数据集，建立任务与affordance区域之间的映射，并训练端到端神经网络 [10, 11, 12]；这种方法不仅成本高昂，而且难以泛化到未见过的“任务-对象”组合。

本文工作来自其核心见解，物体的各个部件（如刀刃、边缘、尖端等）提供一种有效的抽象形式，能够同时捕捉affordance的语义信息及其对应的几何结构。基于将部件作为中间表征的思路，其提出 GROW2（GROunding Which and Where），即“定位对象与位置”，将affordance定位任务分解为两个层级：在语义层面，GROW2 利用视觉-语言模型（VLM）的推理能力来选择合适的工具及与任务相关的部件；在几何层面，GROW2 利用视觉基础模型将选定的部件定位（grounding）为三维affordance区域。这种分解方式消除了对大规模affordance标注数据的依赖，使 GROW2 能够泛化应用于开放类别的物体。

仅凭单视角将选定部件映射到三维空间仍具挑战性，因为物体部件往往只能部分可见，或者被其他物体或物体自身遮挡。尽管多视角相机设置可以缓解这一问题，但其成本通常较高 [13, 14, 15]。GROW2 通过结合二维部件映射与三维重建技术来应对这一挑战。给定单视角 RGB-D 观测数据，该方法首先重建高保真物体网格，将网格配准到观测场景中，从多个视点渲染网格，在每个渲染视图中分割出选定部件，最后将生成的掩码融合为完整的三维affordance区域。这使得 GROW2 仅需单视角 RGB-D 图像即可恢复出忠实于物体功能的完整三维affordance。

---

1 机器人操作中的affordance预测

理解affordance[16, 17, 18] 是机器人与非结构化环境交互的基础。基于关键点的方法将affordance表示为稀疏的功能点 [19, 20, 21, 22]，这种方法虽利于学习与规划，但表达能力有限；而基于二维affordance区域的方法 [23, 12] 虽然能很好地结合视觉基础模型 [24, 25, 26]，却缺乏操作所需的几何信息。相比之下，本文致力于实现三维affordance区域的定位（grounding）。端到端的三维affordance预测方法 [11, 27] 往往需要海量的三维训练数据，且对开放类别物体的泛化能力较差。此外，其中大多数方法假设拥有完整的三维观测信息 [28]，这在实际中并不现实。多视图融合方法 [14, 15] 通过整合不同视角下的二维affordance预测结果，既利用了基础模型的泛化能力，又缓解了遮挡问题。然而，多视图方案在实际部署中效率较低且不切实际。GROW2 利用部件表示法（part representations）来分解affordance定位任务，从而能够利用多种基础模型来实现泛化。此外，它仅凭单视图观测即可生成完整且符合功能特性的三维affordance区域，无需多视图感知。

2 机器人工具使用

工具使用在机器人领域已得到广泛研究，对于扩展机器人能力至关重要。既有研究已赋予机器人多种高级工具使用技能，例如切割 [29, 6]、拧紧螺母 [30]、涂抹酱料 [31] 和使用筷子 [32]。尽管取得了这些进展，但现有方法大多预先设定了工具及其功能，主要侧重于在约束条件下生成动作 [33, 5, 34, 35]。然而，在家庭和仓库等非结构化环境中，有效的工具使用需要机器人具备以下能力：首先识别出合适的物体作为工具，随后利用该工具完成预定任务 [1, 36]。在工具选择方面，研究人员已尝试利用几何信息，通过数学分析 [37, 7, 38] 和数据驱动方法 [39, 8] 来指导选择过程。然而，这些方法往往依赖于大量的监督信息或特定领域数据，从而限制了其在开放世界中的泛化能力，且可能忽略了推断工具功能所需的语义理解。相比之下，本文方法利用视觉-语言模型（VLM）的常识知识，在语义空间中选择工具及与任务相关的部件，随后将所选部件映射为三维affordances，从而支持机器人有效地使用工具。

3 GROW2

本文探讨机器人使用工具场景下的开放世界affordance落地问题。affordance描述源于智体与环境之间互补性的一种动作可能性 [40]。针对机器人使用工具的场景，可将这一概念从“机器人-物体”交互扩展到了“工具-目标”之间的物体间交互。其将affordance定义为两个实体之间的一种非对称二元关系，该关系规定了它们如何交互以实现特定动作。为了在空间上实现该关系的落地，定位这两个实体上相应的交互区域。

在机器人使用工具的任务中，对两种affordance进行落地：一是机器人手与工具物体 o_A 之间的关系（实现抓取），二是工具物体 o_A 与目标物体 o_B 之间的关系（实现工具功能）。输入包括：(i) 包含物体 o_i 的单视角 RGB-D 观测数据 (I, D)；(ii) 描述任务及目标物体 o_B 的语言指令 l（例如“切蛋糕”）。输出包括选定的工具物体 o_A 以及相应的落地 3D 交互区域。

GROW2是一种用于开放世界affordance定位（affordance grounding）的方法。其核心挑战在于如何针对开放类别（open-category）物体实现泛化，因为在此类场景下，从任务到affordance的端到端映射往往难以奏效 [27, 26]。为解决这一问题，引入诸如刀刃、边缘和把手等物体部件，将其作为中间线索。利用这些物体部件，将affordance定位过程分解为两个层级（见图 1所示）。具体而言，给定语言指令 l 以及环境的单视角 RGB-D 观测数据 (I, D)，GROW2 首先选定合适的工具物体与目标物体，并确定任务相关部件的名称；随后，它利用现有的视觉基础模型将这些选定的部件名称定位到 3D affordance区域，从而使 GROW2 能够针对开放类别物体实现泛化。

---

1 工具与部件选择

GROW2 的初始场景中包含多个杂乱摆放的物体，并给定一项由语言指令 l 描述的任务。GROW2 不仅仅依赖几何特征来寻找合适的物体作为工具，而是利用视觉-语言模型（VLM）的常识知识，在语义空间中进行工具选择。具体而言，GROW2 首先提取所有物体及其部件的名称作为候选对象；随后，结合任务、观测信息以及提取出的物体-部件候选集，执行工具与部件的选择。

物体与部件提取。GROW2 首先利用视觉-语言模型（VLM）列举 RGB 观测图像 I 中的所有物体，得到物体名称集合 {o_i}。随后，为了增强 VLM 对物体结构的理解并减少针对不存在部件的“幻觉”现象，用 SAM3 [41] 根据物体名称对这些物体进行分割，并提取相应的图像裁剪区域 {I_i}。针对每一对物体名称与对应的图像裁剪区域 (o_i, I_i)，用 VLM 关于物体affordance的知识，向其查询并生成一组部件候选集 P_i = {p_i,1, p_i,2, …, p_i,j_i}。

工具与部件选择。给定 RGB 图像 I 和任务指令 l，引导视觉语言模型（VLM）从提取出的“对象-部件”候选集 {(o_i, P_i)} 中选择工具对象 o_A、目标对象 o_B 以及与任务相关的部件；其中，P_i = {p_i,1, p_i,2, . . . , p_i,j_i } 表示为对象 o_i 生成的部件候选集合。

为了提高鲁棒性，利用上下文学习（in-context learning）方法，在提示词（prompt）中包含少量关于工具与部件选择的示例。这些示例明确了预期的输入输出格式，并提供“思维链”（chain-of-thought）引导，演示了如何逐步选择合适的工具与部件。通过结合提取出的“物体-部件”候选对象、少样本提示（few-shot prompting）以及视觉-语言模型（VLM）的常识性知识，GROW2 实现工具使用过程中可控且可解释的工具与部件选择。

2 三维Affordance定位

在选定工具对象 o_A、目标对象 o_B 以及与任务相关的部件（p_G、p_A、p_B）之后，下一步是将这些部件从语义空间映射（定位）为可供操作的三维affordance区域。在实际应用中，这些affordance区域可能会因场景中其他物体的遮挡或相机视角的限制而产生自遮挡。既有研究通常采用多相机系统来解决这一问题，但这往往伴随着高昂的成本和较慢的处理速度。为此，提出一种affordance检测方法，仅利用单视角 RGB-D 观测数据，即可生成完整且符合功能特性的三维affordance区域。如图 2 所示，该方法包含两个阶段：(1) 三维重建与配准，以及 (2) 多视角二维分割与融合。

3D 重建与配准。如图 2 左侧所示，首先对选定的工具对象 o_A 和目标对象 o_B 进行 3D 重建，以缓解单视图观测中固有的遮挡问题。对于每个对象 o_i ∈ {o_A, o_B}，给定单视图 RGB-D 观测数据 (I, D)，首先利用 SAM3 对对象进行分割，生成带有掩码的 RGB-D 裁剪图像 (I_i, D_i)。随后，将该 RGB-D 裁剪图像输入 SAM3D [42] 进行重建。为了在相机坐标系下保持对象的位姿和尺度（而非重建出位姿和尺度任意的对象），将深度裁剪图 D_i 转换为点图 X_i，并将其作为重建过程中的几何约束条件。最后，为进一步提升几何精度，将重建出的网格 M 与原始点图 X_i 进行对齐。具体而言，由于 X_i 仅源自局部观测，从相同的相机视角渲染网格 M 以生成局部点图 X_M，并执行基于 ICP 的刚性配准，从而获得从 X_M 到 X_i 的变换矩阵 T。将变换 T 应用于重建网格 M 即可得到配准后的对象网格 M_c，该网格将用于后续阶段。

多视图 2D 分割与融合。在获取工具对象和目标对象的配准网格后，下一步是将任务相关部件 p_G、p_A、p_B 映射为 3D affordance区域。鉴于在开放类别 3D 对象上进行部件定位（grounding）仍是一项挑战 [11]，旨在利用最先进视觉基础模型强大的 2D 定位能力。对于每个部件 p ∈ {p_G, p_A, p_B}，首先从多个视点渲染相应的网格 M_c，生成一组 2D 图像 I_b。这种多视图渲染方式解决了自遮挡问题，并确保任务相关部件 p 可见且能够被成功定位。在实际操作中，设定 K = 8。对于集合 {I_b} 中的每个图像 I_b，利用 SAM3 将描述任务相关部分的文本 p 转化为二维分割掩码 s_k。然而，SAM3 有时无法理解某些复杂的文本查询 [41]。针对这种情况，为了提高分割的可靠性，引入 VLM [43] 作为备选方案，将此类描述转换为边框（bounding boxes）。随后，SAM3 基于这些边框生成精细的分割结果。这种设计既利用 VLM 的视觉语义理解能力，又通过减少高成本的 VLM 查询提高了效率。

最后，将多视角的二维分割结果 {s_k} 聚合成三维affordance区域（region）。具体而言，对于集合 {s_k} 中的每个掩码 s_k，利用相应的相机参数将其反投影到重建的网格模型 M_c 上，从而在物体表面获得一个点集。将各视角的点集进行并集运算，得到物体表面上的聚合点集。由于二维分割结果可能存在瑕疵，聚合后的三维点集可能包含噪声。因此，采用 DBSCAN [44] 算法对点集进行聚类，剔除离群点，并仅保留规模最大的聚类簇作为预测的可操作区域。

---

GROW2 在现有的 2D 和 3D affordance预测基准测试中表现优异。在两个标准affordance预测基准上对 GROW2 进行评估：针对 2D 图像的 AGD20K [12] 和针对 3D 点云的 PIAD [50]。在这两个基准测试中，模型均需根据任务指令预测affordance区域。在各基准测试未见过的测试集上评估 GROW2，并将其与相应的基线方法进行比较。遵循标准评估协议，针对 AGD20K，报告 Kullback-Leibler 散度 (KLD)、相似度指标 (SIM) 和归一化扫描路径显著性 (NSS)；针对 PIAD，报告平均交并比 (aIoU)、ROC 曲线下面积 (AUC) 和平均绝对误差 (MAE)。

GROW2 能够有效地在多物体场景中实现affordance的定位。现有的基准测试（如 AGD20K 和 PIAD）要么直接提供作为工具的物体，要么仅涉及相对简单的场景。为了评估多物体场景下的affordance定位能力，推出 GROW2Bench；在该基准测试中，机器人必须首先识别出哪个物体可用作工具，进而预测其affordance区域。GROW2Bench 中的每个样本均包含一条任务指令和一张包含至少五个候选物体的场景图像，其中affordance区域的真值（ground truth）由人类专家进行标注。GROW2Bench 涵盖十种任务类型，每种类型包含 50 个样本。

实验设置。为了评估 GROW2 是否能促进下游的机器人工具使用任务，在 SAPIEN 3 [55] 仿真环境中构建了一个基准测试，使用 Franka Emika Panda 机械臂进行实验。该基准测试包含五种任务类型：敲击（Pound）、切割（Cut）、提举（Lift）、清扫（Sweep）和倾倒（Pour），每种类型包含 20 个测试用例。每个测试用例由一条任务指令和一个场景组成，场景中包含一个目标物体以及三到五个候选工具物体。对于 GROW2 及所有基线方法，基于预测的可操作区域实现底层操作技能，并利用 Contact-GraspNet [56] 进行抓取位姿采样及运动规划。

基线方法。将 GROW2 与 GROW2Bench 中的基线方法进行对比，包括 DINOv3、SD-DINO 和 MOKA。此外，还纳入 ICP [54]（一种单次 3D 匹配基线方法），以及 UAD [26] 和 GEAL [27]（分别是 AGD20K 和 PIAD 数据集上表现最好的方法）。由于 UAD 和 GEAL 并非针对多物体场景设计，在评估时为其提供真值（ground-truth）辅助。还评估不使用多视图的 GROW2 变体（GROW2 无多视角），该变体去除 3D 重建和多视图定位（grounding）阶段。

为了验证 GROW2 在实际机器人系统中的可行性，针对五类操作任务开展实地实验。如图 4 所示，实验环境包含一台配备平行夹爪的 Franka Research 3 机械臂，以及用于获取 RGB-D 观测数据的 Intel RealSense L515 相机。将 GROW2 与 MOKA [53] 进行对比，后者是此前在affordance预测与仿真实验中最强的基线模型。针对每类任务，在 10 个场景中对 GROW2 和基线模型进行评估，并在相同的底层技能实现条件下记录成功率。每个测试场景均包含一个目标物体和至少五个作为潜工具的其他物体。

GROW2 能够可靠地部署于现实场景中。由于 GROW2 无需额外的领域内数据进行训练，因此它可以直接部署在真实机器人上，并实现与仿真环境相当的性能。GROW2 对现实世界中带有噪声的深度观测数据具有鲁棒性，这是因为它通过精确的多视图渲染，基于重建的网格（mesh）计算affordance区域；相比之下，基线模型则容易受到深度测量缺失或错误的不利影响。

---

补充说明：

AGD20K [12] 是一个二维affordance定位（grounding）基准，包含来自 36 个affordance类别的 20,061 张外中心视角（exocentric）图像和 6,060 张自中心视角（egocentric）图像。遵循 AGD20K [12] 中定义的评估流程，并采用与既往研究相同的指标，在​​未见过的测试集上将 GROW2 与基线方法进行比较。

PIAD [50] 是一个三维affordance定位基准，包含涵盖 23 个物体类别和 17 个affordance类别的 7,012 个点云。遵循 PIAD 定义的评估协议，使用与先前工作相同的指标，在​​未见过的测试集上将 GROW2 与基线方法进行比较。由于 PIAD 中的点云不包含颜色信息，因此难以利用语义线索进行affordance定位。然而，在实际应用场景中，采集点云时通常也能获取 RGB 图像。为了在该基准上评估 GROW2，进行如下调整：在多视图渲染之后，获得一组深度图像；随后，利用 ControlNet [58] 根据这些深度图像生成相应的 RGB 图像，并对生成的 RGB 图像进行部件分割；其余的处理流程保持不变。

在GROW2Bench 基准测试中，机器人必须首先识别出哪个物体可用作工具，进而预测其affordance区域。其构建流程如下：

首先，利用 Gemini 3 Pro [59] 生成一份详尽的家居物品清单，涵盖 82 个物品类别。接着，针对 10 种任务类型中的每一种，定义一组包含 4 到 8 个候选对象的合理目标物体集合。随后，请 Gemini 3 Pro 为每种任务类型列出可能的工具对象清单。该清单经由人工标注员核实与筛选，最终确定每种任务类型对应 10 到 20 个工具候选对象。对于每个测试场景，随机抽取：(i) 任务特定目标集合中的一个目标物体；(ii) 相应工具候选集合中的一个工具对象；(iii) 家居物品清单中的四个干扰物体。下一步使用 Nano Banana Pro [60] 生成包含这六个物体的桌面场景图像，并确保指令中提及的目标物体位于图像中心附近。针对 10 种任务类型，每种生成 50 个场景，总计构成 500 个测试场景。

此外，开发一个基于 Web 的标注界面，用于收集人工对工具对象及其对应affordance区域的选择结果。首先展示若干示例，以帮助标注员熟悉操作流程。针对给定的图像及其对应的任务指令，机器人技术专家需选定合适的工具对象，并围绕该工具的可供性区域绘制边框。利用 SAM 3 将每个边框转换为二维分割掩码，以此作为标注的affordance区域。为降低个体偏差，招募 10 位机器人技术专家并汇总他们的标注结果。

为 GROW2Bench 实现了几种无需训练（training-free）的基线方法，并将其归类为单样本（one-shot）和零样本（zero-shot）设置。单样本基线依赖于演示（demonstration）和特征匹配来选择工具并定位其affordance区域，而零样本基线则利用视觉语言模型（VLM）的语义和空间理解能力。对于单样本基线，为每个任务类别提供一个演示。每个演示包含常规工具的 2D 图像和 3D 点云观测数据，以及工具上标注的affordance区域（图 12所示）。例如，在敲击任务中，常规工具是锤子，在 2D 图像和 3D 点云上都标注了其affordance区域。

单样本基线方法的具体细节如下。

SD-DINO。首先利用 VLM 列举场景中的物体并获取其名称。随后，根据物体名称使用 SAM3 [41] 对每个物体进行分割，并提取相应的图像裁剪区域（crops）。接下来，将每个裁剪区域与演示中的工具图像进行匹配，并选择相似度得分最高的裁剪区域作为目标工具。为了提取匹配特征，使用 SD-DINO [52]，该方法结合 Stable Diffusion [61] 和 DINOv2 [62] 的表征，能够同时捕捉全局上下文和局部细节。为了进一步提高匹配的鲁棒性，利用 SD-DINO 特征计算“最佳伙伴相似度”（Best-Buddies Similarity, BBS）[63]。BBS 通过识别特征空间中互为最近邻的局部图像块对（一对来自裁剪图像，另一对来自演示图像）来衡量结构相似度。

底层技能实现的细节如下。

本文提出一种通用的方法，用于在机器人使用工具的场景中实现affordance的定位（grounding），即在工具和目标物体上生成三维affordance区域。这些affordance区域为后续的底层动作生成（包括策略学习 [64, 65, 66, 67] 和运动规划 [68, 69, 70, 71]）提供了信息丰富的先验知识。在本研究中，采用运动规划作为底层模块，以评估预测出的affordance区域能否支持成功的后续操作任务。

基于预测的affordance区域，利用其功能语义和局部几何特征，指导抓取位姿的采样以及工具位姿序列的生成，从而实现预期的工具-目标交互。具体而言，首先利用 Contact-GraspNet [56] 在预测的抓取affordance区域内采样候选的末端执行器抓取位姿。随后，利用与工具功能相关的affordance区域，定义既针对特定任务又具备泛化能力的物体级关键位姿；这些关键位姿规定了任务执行过程中工具与目标物体应如何进行交互。每个关键位姿都关联着一个几何约束，该约束基于工具和目标物体的预测可供性区域来定义。图 15 展示了每项任务的一个典型关键位姿：左上图显示了工具的affordance区域，左下图显示了目标物体的affordance区域，右图则展示了相应的关键位姿。

仿真实验细节如下。

为了评估 GROW2 预测的affordances能否有效支持机器人使用工具，在 SAPIEN 3 仿真环境 [55] 中利用 Franka Emika Panda 机械臂构建一个工具使用基准测试。每个测试用例包含一条任务指令和一个相应的场景。为了构建用于评估的多样化场景，从 Objaverse 数据集中选取 85 个 3D 物体资产，这些物体涵盖了广泛的类别、尺寸、形状和外观特征。针对每个场景，遵循以下规则随机采样物体：首先采样任务指令中提到的目标物体，随后采样 3 到 4 个物体作为候选工具。每个被采样的物体都被放置在桌面上，其位置和朝向均为随机设定，同时确保物体位于机器人的可达工作空间内且不与其他物体发生碰撞。在评估设计上，确保每个场景中至少有一个候选工具能够成功完成指定任务。通过这一流程，构建了 100 个多样化的场景。如图 16 展示了仿真实验中的部分场景示例。