RoboBench：面向具身智能体的 VLM 综合评估基准

关键词：#具身智能 #具身大脑 #多模态大模型

• 论文题目：Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain
• arXiv:2510.17801
• 单位：北大 & BAAI
• https://robo-bench.github.io/
• 更多论文每日解读关注 v 公众号：https://mp.weixin.qq.com/s/IM5K3zM0NnujfvYnxLC37g

---

全文概述

RoboBench 是一个面向具身智能的多模态大语言模型评估基准，旨在系统性评估 MLLMs 作为机器人"具身大脑"的认知能力。该基准针对动态非结构化环境中的操作任务，定义了五个核心评估维度：指令理解、感知推理、广义规划、可操作性预测和失败分析，覆盖 14 项能力、25 项任务和 6092 个问答对。

其创新性体现在：1）构建真实场景数据集，整合大规模真实机器人数据与自采数据，涵盖单臂/双臂/移动操作、多视角遮挡场景等复杂任务设置；2）提出 MLLM-as-world-simulator 框架，通过模拟物理约束下的对象状态变化评估长程规划的可行性；3）揭示当前MLLMs在隐式指令理解、时空推理、跨场景规划、细粒度可操作性理解及执行失败诊断等核心能力上的显著缺陷。

实验表明，Gemini-2.5-Pro 在各维度表现最优，但与人类水平仍存在 17-28 分的差距，凸显了具身认知能力的提升空间。该基准为开发更鲁棒的机器人智能提供了量化评估框架和改进方向。

术语解释

• 具身大脑：指机器人系统中负责高层认知的模块，通过与环境交互实现感知-推理-决策闭环，区别于执行低层控制的"System 1"，强调其作为认知核心的角色。
• MLLM-as-world-simulator：一种评估框架，利用 MLLM 模拟物理世界状态变化，通过验证规划方案是否能实现关键对象状态转变，评估具身规划的可行性，突破传统符号匹配的局限性。

为什么需要 RoboBench

现在的机器人系统很多都采用“双系统”架构：

• System 1（执行系统）：负责低层次控制，比如怎么抓、怎么移动。
• System 2（具身大脑）：负责高层次推理，比如理解“我渴了”意味着要去拿水。

而 System 2 的核心就是多模态大模型（MLLMs），它们要能看懂图像、听懂人话、制定计划。但问题来了：我们没有一个全面、真实、系统化的基准来评估这些“大脑”到底行不行。

RoboBench 是什么

五大评估维度

RoboBench 是一个全新的评估基准，它从五个维度系统评估 MLLMs 作为“具身大脑”的能力：

维度	核心任务	能力要求
1. 指令理解	能否理解显式或隐式的人类意图？比如“我渴了”→拿水	从人类需求中推断可执行目标，区分显式（明确动作 / 目标）与隐式（间接表达）指令
2. 感知推理	机器人视角识别、物体属性判断、场景时空关系分析	结合机器人形态（单臂 / 双臂 / 移动）、物体静态 / 功能属性、场景遮挡 / 导航记忆，提取任务相关信息
3. 具身规划的泛化	长时程规划（完整动作序列预测）、下一步规划、任务状态判断	跨机器人形态（单臂→双臂）、跨物体（常见→罕见）、跨视角（单视图→多视图遮挡）、跨任务（操作→导航）的规划泛化能力
4. 可供性预测	静态接触点预测（如 “抓苹果的位置”）、动态轨迹预测（如 “开抽屉的运动路径”）、导航位置预测（如 “靠近微波炉的基座位置”）	将高层子目标转化为底层控制的空间线索，链接 “目标 - 机器人 - 环境” 三者关系
5. 失败分析	能否识别并解释执行或计划中的错误？比如 执行层故障诊断（如位置偏差、 gripper 故障）、规划层故障诊断（如选错物体、步骤缺失）	识别故障类型、分析原因并提出修正方案，确保任务鲁棒性

数据集构建：真实性与多样性保障

为贴近真实场景，RoboBench 的数据集来源和处理流程具有显著优势：

• 数据来源：结合大规模真实机器人数据（如 RoboMIND、Open X-Embodiment）和自定义采集数据，覆盖单臂、双臂、移动机器人等多形态，包含材质属性（如玻璃 / 布料）、物理属性（如重量 / 硬度）丰富的物体，以及多视图遮挡、记忆导航等场景。
• 数据处理流程：针对每个维度设计定制化 workflow（如图 3），分为 “预处理→标注（VLMs / 检测模型 / 人类专家）→问答生成” 三阶段。例如：
  • 指令理解：通过 LLM 将显式指令（如 “把苹果放盘子里”）改写为隐式指令（如 “桌子上的苹果需要归位”），形成对比样本；
  • 感知推理：用 Gemini 分割视频帧获取时空信息，结合人工标注物体相对位置，生成选择题；
  • 故障分析：从真实机器人数据中提取执行故障，通过扰动正确指令合成规划故障（如 “拿杯子” 改为 “拿盘子”）。
• 质量控制：两阶段验证 —— 构建时过滤低质量图像和无效任务，构建后由 20 名专业标注员检查语言清晰度、答案正确性，并移除 “所有模型全对” 或 “所有模型全错” 的极端样本。

创新评估方法：MLLM 作为世界模拟器

传统评估方法只看“计划对不对”，但不管能不能真做出来。

针对 “规划评估不真实” 的痛点，RoboBench 提出 MLLM-as-world-simulator 框架：用 MLLM 自己当作“世界模拟器”，一步一步模拟执行计划，看是否能在图像和物理约束下完成关键状态变化（比如“苹果在盘子上”）。这就从“符号匹配”升级到了“物理可行性验证”。

核心流程如下：

1. 构建任务结构：基于初始场景图像、参考动作列表和人工标注的 “有向无环图（DAG）”，定义任务的 “动作节点” 和 “步骤依赖关系”（如 “开抽屉” 必须在 “放物品” 之前）。
2. 提取关键状态：从参考动作和 DAG 中，确定物体状态里程碑（如 “抽屉 = 打开”“苹果 = 在盘子上”）。
3. 分步仿真验证：
   • 分析初始图像，获取空间 / 物理约束（如 “抽屉初始为关闭”“苹果在桌上”）；
   • 按预测规划逐步执行，检查每一步是否满足当前场景约束，更新场景状态；
   • 统计预测规划实现的 “关键状态数量”，判断其在真实场景中的可执行性。

该框架突破了传统 “符号匹配” 的局限，能有效评估长时程规划的逻辑连贯性和物理可行性。

示例

一些示例如下：

评价指标

为了捕捉具身操作中多样的认知需求，我们针对每个维度定制了相应的度量标准：

• 感知推理与失败分析通过多项选择准确率进行评估；
• 可供性预测采用欧氏距离衡量点预测，使用均方根误差（RMSE）衡量轨迹预测；
• 规划能力在三个任务（Q1–Q3）上进行评估。其中，Q1 为核心任务，借助多模态大语言模型（MLLM）世界模拟器，评估结构正确性与具身可行性。

规划评估

Q1：长时程规划

我们将任务建模为一组由 ⟨skill, object, args⟩ 参数化的原子动作的部分有序集合。动作间的约束通过有向非循环图 (DAG) $G=(V,E)$ 编码，其中每个 $v\in V$ 为动作节点，每条边 $(u\to v)\in E$ 强制执行先后顺序。该 DAG 呈现出了 milestones（比如 drawer=open），同时允许有效的排列。论文将手动标注的 $G$ 用作评估参考。

我们计算两个指标：结点正确性和任务完成度，均通过 MLLM 进行计算，最终得分计算为：

结点正确性（NodeCorrectness）：令 $V^{\ast }$ 表示真实结点，$\hat{V}$ 表示预测结点，在 {skill, object, parameter} 的确切对齐下，多模态大模型执行一对一匹配。计算方式为：

任务完成度（Task completion）：一个 MLLM 使用以下方式执行轻量级 world-simulation rollout：(i) 第一帧图像 $I_0$ 用于空间/物理先验，(ii) 参考动作列表 $A^{\ast }$ ，以及 (iii) 参考有向无环图 $G$。我们定义关键状态为物体级别的状态变化（例如，drawer = open, apple on plate）。令 $S^{\ast }$ 为这些 milestones 的集合，$\hat{S}$ 为在 rollout 过程中达成的状态。MLLM 的执行过程如下：

1. 视觉约束分析：从 $I_0$ 出发，识别物体、空间关系和物理约束，以构建初始世界 $W_0$（例如 drawer = closed, apple on table）
2. 关键物体状态检测：将 $A^{\ast }$ 和 $G=(V,E)$ 解析，从中提取动作效应中的状态转移谓词，然后聚合为 $S^{\ast }$。
3. 状态顺序与并发性验证：使用 $G$ 来强制 $S^{\ast }$ 中状态之间的先后顺序和允许的并行性，并建立因果关系。
4. Rollout Simulation：逐步执行预测的动作，将先决条件与 $W_t$ 进行对比，更新至 $W_{t+1}$。当 $s\in S^{\ast }$ 变为 true 且对其最后一个消费者保持有效时，标记为 archieved & protected，累计 $\hat{S}\subset S^{\ast }$。

计算如下：

Q2：下一步规划

给定一个观测 $I_t$ ，模型预测下一步动作 ${\hat{a}}_{t+1}$。。一个 MLLM 根据 $a_{t+1}^{\ast }$ 进行判断：skill 必须确切得匹配 sskill∈{0,1}s_{skill} \in \{0,1\}sskill​∈{0,1}：物体和参数根据视觉约束下的合理性进行评分（sobj,sparam∈{0,0.5,1}s_{obj}, s_{param} \in \{ 0,0.5,1\}sobj​,sparam​∈{0,0.5,1}，每样本得分：

Q3：任务状态估计

给定 $I_{t-1}$ 或者 $I_t$，模型判断给定的子任务 ${\hat{a}}_t$ 是否已完成：y^∈{0,1}\hat{y} \in \{0, 1\}y^​∈{0,1}。以真实值 y 为基准，我们报告二分类准确率：

实验

研究团队对 14 个主流 MLLMs（闭源如 GPT-4o、Gemini-2.5-Pro；开源如 LLaVA-OneVision、RoboBrain-2.0）进行了全面评估，同时引入 “纯文本 LLM” 和 “人类” 作为参考基准，揭示了当前 MLLMs 作为具身大脑的核心优势与不足。

1. 整体性能排名
   • 闭源模型领先：Gemini-2.5-Pro 表现最佳，在感知推理（62.96%）、可用性预测（65.21%）、故障分析（45.14%）等维度均居首，但仍显著落后于人类（对应维度人类得分 74.30%、82.63%、63.99%）。
   • 开源模型差距明显：闭源模型在指令理解、规划、故障分析等维度领先开源模型 10-15%，仅在感知推理上接近；但 “具身专用开源模型”（如 RoboBrain-2.0-7B）优于同规模通用开源模型，证明领域适配训练的价值。
   • 模型规模影响显著：同系列模型中，规模越大性能越强（如 GPT-4o-Mini→GPT-4o，规划得分从 33.31→37.74）。
2. 细粒度能力短板（核心发现）
   通过对各维度子任务的拆解，发现当前 MLLMs 存在 5 类关键局限：
   • 隐式指令理解薄弱：面对隐式指令时，模型得分平均下降 30%（如从显式指令的 40-50 分降至隐式的 10-20 分），无法有效结合场景上下文推断人类真实需求。
   • 时空感知脆弱：机器人视角识别（正确率仅 43.48%）、时间定位（如 “判断动作发生的帧范围”，正确率 49.68%）表现差，缺乏对 “机器人形态 - 视角” 的绑定认知。
   • 复杂规划能力不足：
     • 跨形态规划：双臂协同、移动机器人规划成功率低（如双臂任务得分仅 37.65%，远低于单臂的 29.71%）；
     • 跨物体规划：罕见物体或需世界知识的任务（如 “用特殊工具拧螺丝”）得分骤降；
     • 多视图增益有限：虽多视图输入能提升规划得分（如 GPT-4o 从 33.66→38.51），但仍无法接近人类水平。
   • 可用性预测深度不足：即使表现最好的 Gemini-2.5-Pro（65.21 分），也比人类（82.63 分）低 17 分，难以精确预测 “抓握位置”“运动轨迹” 等底层控制线索。
   • 执行故障诊断极难：执行层故障（如 gripper 角度错误）得分仅 10-20 分，远低于规划层故障（40-60 分）；即使人类，执行故障诊断得分也仅 47.30 分，凸显该任务的固有难度。

RoboBench 的价值与未来方向

1. 核心贡献
   • 构建完整评估体系：首次将具身大脑的认知能力拆解为 “指令 - 感知 - 规划 - 可用性 - 故障” 五大联动维度，覆盖从人类需求到物理执行的全链条。
   • 提升评估真实性：通过真实机器人数据、多形态 / 多物体 / 多场景设计，缩小 “仿真 - 真实” 差距。
   • 创新规划评估方法：MLLM 世界模拟器框架，首次实现 “物理可行性 + 逻辑正确性” 的双重规划评估。
2. 对机器人智能发展的指导意义
   • RoboBench 的实验结果明确了 MLLMs 作为具身大脑的改进方向：
   • 增强 “场景 - 指令” 绑定推理，提升隐式需求理解能力；
   • 融入机器人形态感知模块，强化时空关系建模；
   • 引入物理引擎知识，优化跨形态、跨物体的规划泛化性；
   • 加强细粒度感知（如物体局部特征、动作轨迹偏差），提升故障诊断精度。

总结

贡献	内容
1. 新基准	第一个系统评估MLLM作为“具身大脑”的 benchmark
2. 新数据	真实机器人数据，覆盖多任务、多视角、多 embodiment
3. 新评估方法	用 MLLM 自己模拟世界，评估“计划能不能真做出来”
4. 新发现	揭示了当前大模型在具身认知上的五大短板