Robo2VLM 

[2505.15517] Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets

摘要：

视觉语言模型（VLMs）通过互联网规模的图像-文本语料库获取现实世界知识和通用推理能力。它们可以通过场景理解和任务规划来增强机器人系统，并辅助基于机器人轨迹数据训练的视觉运动策略（visuomotor policies）。我们探索了一种反向范式——利用丰富、真实的多模态机器人轨迹数据来增强和评估 VLMs。 在本文中，我们提出了 Robo2VLM，一个面向 VLMs 的视觉问答（VQA）数据集生成框架。给定一条人类遥操作的机器人轨迹，Robo2VLM 从非视觉和非描述性的感知模态（如末端执行器位姿、夹爪开合度和力觉传感）中提取真实标注（ground-truth）。基于这些模态，它将机器人轨迹分割成一系列操作阶段。在每个阶段，Robo2VLM 利用场景和交互理解来识别机器人、任务目标和目标物体的 3D 属性。这些属性被用于基于空间、目标条件和交互推理的问题模板，生成具有代表性的 VQA 查询——即带有文本多项选择题的图像。我们构建了 Robo2VLM-1，这是一个大规模真实世界（in-the-wild）数据集，包含 684,710 个问题，涵盖来自 17.6 万条真实机器人轨迹的 463 个不同场景和 3,396 个机器人操作任务。结果表明，Robo2VLM-1 能够对 VLMs 在空间和交互推理方面的能力进行基准测试，并促进其能力提升。

3 大推理组、11 个核心类别：

推理组	核心类别 (11类)	问题原型 (Prompt Prototype)	真实示例 / 变体形式	答案格式与生成逻辑
一、空间推理	1. 物体状态	Is the {target object} reachable by the robot?	Is the black pen reachable by the robot?	Yes / No
			(那支黑笔对机器人来说是可以够到的吗？)	(基于机械臂运动学范围与物体坐标)
	2. 空间关系	What's the relative direction in 3-D between end effector and {target object}?	What's the relative direction in 3-D between the end effector and the white mug?	多选 (左/右/上/下/前/后)
			(机械臂末端与白杯子的三维相对方向是什么？)	(基于坐标差的绝对值比较)
	3. 场景理解	Which point is closer to the camera viewing the scene?(变体含 FARTHEST)	In the image from ext1, which colored point is FARTHEST from the camera?	多选 (颜色点)
			(在 ext1 视角的图中，哪个彩色点离相机最远？)	(基于不同视角相机的深度深度投影)
	4. 多视图对应	Which point in the right-side image corresponds to the point in the left-side image?	In the left image (ext2), a red dot is marked. Which point is the closest point in the right image?	多选 (颜色点)
			(左图标记了红点，右图哪个点与之最接近？)	(基于同一 3D 空间坐标在不同相机的投影)
二、目标条件推理	5. 任务成功状态	Has the robot successfully completed the task?	The robot is to remove the black pen from the white mug. Has the robot successfully completed the task?	Yes / No / 无法确定 / 未尝试
			(机器人需从白杯取出黑笔，它成功了吗？)	(基于动作阶段和夹爪最终状态)
	6. 任务目标状态	What is the goal configuration for {interaction}?	The robot task is to remove the black pen... Which configuration shows the goal state?	多选 (选项 A/B/C/D 图片)
			(机器人任务是把黑笔放到台面，哪种配置是目标状态？)	(基于终点时刻的历史真值帧)
	7. 动作理解	The robot is {interaction}. What is the robot's current action phase?	The robot is grasping the black pen. What is the robot's current action phase?	多选 (接近/抓取/移动/放置)
			(机器人正在抓黑笔，处于哪个动作阶段？)	(基于轨迹在时间轴上的分割)
	8. 交互阶段	What will the robot do next?	Which colored arrow correctly shows the direction the robot will move next?	多选 (颜色箭头)
			(哪个颜色的箭头正确指示了机器人下一步的移动方向？)	(基于提取的下一时刻轨迹向量)
	9. 轨迹理解	What task does this trajectory likely accomplish?	Which language instruction best describes the robot's trajectory shown in the image?	多选 (文本指令)
			(哪条语言指令最好地描述了图中的机器人轨迹？)	(基于该轨迹的原始任务描述)
三、交互推理	10. 抓取状态	Is this a stable grasp?	Is the current grasp on the black pen stable?	Yes / No
			(当前对黑笔的抓取稳定吗？)	(基于夹爪力传感及物体滑移检测)
	11. 机器人状态	Is the robot gripper currently open?	Is the robot gripper currently open?	Yes / No
			(机器人夹爪现在是张开的吗？)	(基于本体感知关节开合度数据)

BOP-Ask

[2511.16857] BOP-ASK: Object-Interaction Reasoning for Vision-Language Models

摘要：视觉-语言模型（VLMs）在空间推理基准上取得了令人瞩目的成绩，然而这些评估掩盖了它们在理解物体交互方面的关键弱点。当前的基准测试考查的是高层关系（如“在左侧”、“在后方”等），却忽略了现实世界应用所需的细粒度空间理解：包括精确的 3D 定位、物体间的物理兼容性、物体可供性（affordances）以及多步空间规划。在这项工作中，我们提出了 BOP-Ask，这是一个用于物体交互推理的新型大规模数据集，兼具训练和基准测试功能。我们的数据生成流水线利用了来自物体位姿估计基准（BOP）数据集中的 6D 物体位姿，从中推导出细粒度标注，例如抓取位姿、参考物体位姿、路径规划轨迹、相对空间与深度关系，以及物体间关系。BOP-Ask 包含超过 15 万张图像和 3300 万个问答对，跨越六个任务（其中四个为全新任务），为训练和评估 VLMs 提供了丰富的资源。我们评估了闭源和开源的 VLMs，并在 BOP-ASK-core（一个贡献的测试基准）上进行了人工评估。我们还发布了 BOP-ASK-lab，这是一个分布外（out-of-distribution）基准，其图像不来源于 BOP，从而能够测试模型的泛化能力。我们的实验表明，在 BOP-Ask 上训练的模型优于基线模型，并展现出涌现能力，例如在杂乱环境中的精确物体与抓取位姿估计、轨迹规划以及细粒度以物体为中心的空间推理。

BOP-Ask覆盖6类技能

技能类别	核心问题	问答对示例（示意）
位姿 (Pose)	物体在图像中的精确6D位姿是什么？	Q: What is the 6D pose of the {object}? A: [R|t] matrix
抓取 (Grasp)	应该抓取物体的哪个位置？	Q: Where should the robot grasp the {object}? A: Pixel coordinates (u,v)
轨迹 (Trajectory)	从当前位置到目标位置的无碰撞路径是什么？	Q: What is a collision-free path to move the {object} to {target}? A: Sequence of waypoints
重排 (Rearrangement)	应该先移动哪个物体才能拿到目标？	Q: Which object should be moved first to access the {target}? A: {obstructing object}
空间 (Spatial)	物体间的相对空间关系是什么？	Q: Is the {object A} left or right of the {object B}? A: Left
深度 (Depth)	物体距离相机有多远？	Q: What is the depth of the {object} from the camera? A: 0.85 m

 RoboInter-VQA

[2602.09973] RoboInter: A Holistic Intermediate Representation Suite Towards Robotic Manipulation

摘要：

大型视觉-语言模型（VLMs）的进步激发了人们对用于机器人操作的视觉-语言-动作（VLA）系统日益增长的兴趣。然而，现有的操作数据集仍然存在整理成本高、高度特定于具体具身（embodiment，指机器人硬件形态）、覆盖范围和多样性不足的问题，从而阻碍了 VLA 模型的泛化。最近的方法试图通过“先计划后执行（plan-then-execute）”范式来缓解这些限制，即首先生成高层计划（例如，子任务、轨迹），随后将其转换为底层动作，但这些方法严重依赖于额外的中间监督（intermediate supervision），而这在现有数据集中基本是缺失的。

为了弥补这一差距，我们引入了 RoboInter 操作套件（RoboInter Manipulation Suite），这是一个统一的资源，包含用于操作的中间表征（intermediate representations） 的数据、基准和模型。它由以下几个部分组成：

• RoboInter-Tool：一个轻量级的图形用户界面（GUI），能够对各种表征进行半自动标注。

• RoboInter-Data：一个大规模数据集，包含跨越 571 个不同场景的超过 23 万个操作回合，提供超过 10 类中间表征的密集逐帧标注，在规模和标注质量上大幅超越了先前的工作。

在此基础上：

• RoboInter-VQA 引入了 9 个空间和 20 个时序的具身 VQA 类别，以系统地基准测试并增强 VLMs 的具身推理能力。

• RoboInter-VLA 提供了一个集成的“先计划后执行”框架，支持模块化和端到端的 VLA 变体，通过中间监督将高层规划与底层执行连接起来。

总而言之，RoboInter 通过细粒度且多样化的中间表征，为推进鲁棒且可泛化的机器人学习奠定了实用的基础。

9种空间和20种时序类别：

空间类别聚焦于物体的绝对/相对位置、抓取可行性及接触状态。根据论文表格，9种空间类别的完整命名与对应示例如下：

类别名称 (Task Name)	任务类型 (Task Type)	核心考察内容与问题示例
Grounding	Spatial & Choice / Generation	考察模型定位物体的能力。示例：“请选择与指令描述相匹配的物体边界框。”或直接生成物体框坐标。
Contact	Spatial & Decide	判断机器人与物体的接触状态。示例：“机械臂当前是否与目标物体发生了物理接触？”
Grasp Affordance (Box Mode)	Spatial & Generation	预测抓取区域（以边界框形式）。示例：“请生成适合抓取该物体的2D边界框。”
Grasp Affordance (Key point Mode)	Spatial & Generation	预测抓取关键点。示例：“请标出夹爪应该接触物体的像素级关键点坐标。”
Gripper Detection	Spatial & Generation	检测夹爪的空间位置。示例：“请输出当前图像中机器人夹爪的包围框。”
Place Affordance	Spatial & Generation	预测物体的放置位置。示例：“请生成目标物体合适的放置区域边界框。”
Grasp Pose	Spatial & Choice	选择正确的抓取姿态。示例：“在给定的候选抓取姿态中，哪一个最符合当前物体的物理形态？”
Scene Understanding	Spatial & Choice	整体场景的空间布局理解。示例：“以下哪个描述最符合当前场景中物体的空间分布？”
Object Grounding	Spatial & Generation	细粒度物体定位与接地。示例：“请精确输出‘红色杯子’在图像中的掩码或坐标。”

时序类别聚焦于动作序列、任务规划与未来预测。论文在补充材料中通过表格详细列出了超过18种（部分变体可合并为20类）的时序任务：

类别名称 (Task Name)	任务类型 (Task Type)	核心考察内容与问题示例
Trace	Temporal & Choice	轨迹选择与匹配。示例：“哪条轨迹最符合当前的任务指令？”
Trace dir	Temporal & Choice	轨迹方向判断。示例：“机器人下一步的运动方向是什么？”
Trace lang	Temporal & Choice	轨迹与语言描述匹配。示例：“哪句自然语言描述最准确地概括了图中的轨迹？”
Trace easy	Temporal & Generation	简单轨迹生成。示例：“请生成一条从当前位置到达目标物体的简易路径。”
Trace hard	Temporal & Generation	复杂/长程轨迹生成。示例：“在存在障碍物的情况下，请生成一条无碰撞的完整长程轨迹。”
Planning_Task	Temporal & Generation	任务规划。示例：“请为‘制作三明治’这个任务生成一系列子步骤。”
Planning_with_Context_Task	Temporal & Generation	带上下文的规划。示例：“考虑到桌上已经有面包，请规划接下来制作三明治的步骤。”
Planning_Remaining_Steps_Task	Temporal & Generation	剩余步骤规划。示例：“机器人当前处于‘涂抹黄油’阶段，请规划剩余的执行步骤。”
Generative_Affordance_Task	Temporal & Generation	生成式可供性预测。示例：“请生成一个在未来时刻可能出现的可供性区域。”
Future_Prediction_Task	Temporal & Generation	未来状态预测。示例：“预测机器人执行该动作后，0.5秒后场景会变成什么样？”
Success_Positive_Task	Temporal & Decide	成功状态判断（正样本）。示例：“机器人是否成功完成了‘抓取’任务？”（答案为Yes）
Success_Negative_Task	Temporal & Decide	成功状态判断（负样本）。示例：“机器人是否成功完成了‘放置’任务？”（答案为No）
Discriminative_Affordance_Positive_Task	Temporal & Decide	判别式可供性（正样本）。示例：“当前状态是否允许执行抓取？”（答案为Yes）
Discriminative_Affordance_Negative_Task	Temporal & Decide	判别式可供性（负样本）。示例：“当前状态是否允许执行抓取？”（答案为No）
Past_Description_Task	Temporal & Generation	过去状态描述。示例：“请描述机器人在上一个阶段执行了什么动作。”
Past_Multi_task_Selection	Temporal & Choice	过去多任务选择。示例：“回顾过去5秒，机器人执行了以下哪种组合任务？”
Future_Multi_task_Selection	Temporal & Choice	未来多任务选择。示例：“根据当前指令，机器人接下来应该选择哪组任务序列？”
Temporal_Understanding	Temporal & Choice	时序理解。示例：“以下哪个事件在时间顺序上发生在最前面？”
Past_Primitive_Selection	Temporal & Choice	过去原子动作选择。示例：“机器人刚才执行的是‘靠近’还是‘抓取’？”
Future_Primitive_Selection	Temporal & Choice	未来原子动作选择。示例：“机器人下一步应该执行‘移动’还是‘抓取’？”

MG-VQA

[2608.17129] MG-VQA: Manipulation Grounded Visual Question Answering with VLMs

摘要：视觉-语言模型（VLMs）在静态视觉输入下展现出了令人瞩目的空间推理能力，在这种情况下，回答问题所需的证据在提供的视图中是可用的。然而，在杂乱的环境中，与答案相关的证据可能是被遮挡了，而非不存在：一个物体可能躺在一堆东西下面，被另一个物体覆盖，或者带有标识信息的一面背对相机。回答这类问题需要物理交互来揭示隐藏的证据。我们将这种设定形式化为“操作接地的视觉问答”（Manipulation-Grounded Visual Question Answering, MG-VQA），在该设定中，智能体通过使用操作作为中间的收集证据操作，来回答关于初始杂乱场景的问题。我们推出了 MG-VQA-Bench，包含跨越四种空间推理任务的 600 个经过人工验证的问题，并在一个杂乱的桌面交互环境中对其进行了评估。我们在三个级别的环境访问权限下评估了八个 VLM：直接（Direct，仅图像）、感知（Perception，指向、分割和场景图） 以及 操作（Manipulation，感知、抓取和推动）。在所有模型中，直接模式和感知模式的平均成功率分别为 36.2% 和 37.6%，仅略高于 32.7% 的无图像盲猜基线。相比之下，操作模式将平均成功率提高到了 56.8%（各个模型的范围在 40.8% 到 83.0% 之间）。具备更强工具调用能力的 VLM，GPT 6 Astra（83.0%） 和 Gemini 3.8 Flash（69.3%），会进行持续搜索，并在交互失败后重新定位（re-ground）；而较弱的模型通常在没有收集到足够证据的情况下就作答，或者在动作失败后过早停止。我们的结果强调了需要这样的 VLM 智能体：它们能够利用操作来进行持续的、物理接地的证据收集与恢复。

任务类别	问题模板	选项形式	必须通过“操作”揭示证据的原因
Count（计数）	How many {目标物体} are visible in the scene?	5个选项（含 None of the Above）	多个同类物体被其他物体覆盖或堆叠，需要推开/抓起遮挡物，才能数清总数
Find（寻找）	Where is the {目标物体}? 或 Which object is the {目标物体}?	5个选项（含 None of the Above）	目标物体完全被遮挡，需移开覆盖物后才能定位
Beneath（下方）	What is under the {覆盖物}?	5个选项（含 None of the Above）	被问的物体藏在某个覆盖物下方，必须执行“移除-观察”动作序列才能看到
Compare（比较）	Which object is {更大/更小}：Object A or Object B?	2个选项（Object A 或 Object B）	两个匿名物体（用 2D 点标记）可能部分被遮挡，需操作后才能判断其真实尺寸/属性