论文地址：https://www.arxiv.org/pdf/2505.23450

长时域机器人操作要求在复杂的连续任务中具备扩展推理能力、精确执行能力以及强大的错误恢复能力。目前的方法，无论是基于静态规划还是端到端的视觉运动策略，都容易在执行过程中出现错误累积，并且缺乏有效的验证机制，从而限制了它们在实际场景中的可靠性。本文作者提出了Agentic Robot，这是一个受大脑启发的框架，它通过标准化操作程序 (SAP) 解决了这些限制，为规划、执行和验证阶段建立了结构化的工作流程。我们的架构包含三个专门的组件：

(1) 一个大型推理模型，将高级指令分解为语义连贯的子目标；

(2) 一个视觉-语言-动作执行器，根据实时视觉输入生成连续的控制命令；

(3) 一个验证器，通过内省评估实现自主进程和错误恢复。

这种由 SAP 驱动的闭环设计支持无需外部监督的动态自验证。在 LIBERO 基准测试中，Agentic Robot 取得了最佳性能，平均成功率高达 79.6%，在长周期任务中比 SpatialVLA 高出 6.1%，比 OpenVLA 高出 7.4%。这些结果表明，SAP 驱动的专用组件之间的协调能够提升顺序操作的性能和可解释性，从而为可靠的自主系统带来巨大的潜力。

图 1：由标准化行动程序 (SAP) 控制的代理机器人框架。(1) 基于 LRM 的规划器在技能库的指导下，将高级任务分解为结构化子目标。(2) VLA 策略（执行器）使用自然语言指令和实时视觉输入执行每个子目标。(3) 基于 VLM 的验证器定期检查第三人称视角和腕戴式视角的滑动窗口，以确定是否继续、重试或

整体架构介绍

作者引入了 Agentic Robot，这是一个代理框架，它将长视域操作重新表述为一个封闭的感知-推理-执行-验证循环，其灵感来自生物认知和多智能体 LLM 系统 。借鉴管理高效人类工作流程的 SOP 的理念，用于构建整个操作过程中的组件交互。SAP 为信息交换、进度监控和错误恢复建立了明确的协议，从而能够稳健地执行复杂的操作任务。我们的架构集成了三个专门的组件：

(1) 基于 LRM 的规划器，将高级指令分解为结构化子目标；

(2) 基于 VLA 的执行器，生成来自子目标和视觉输入的连续控制动作；

(3) 基于 VLM 的验证器，用于进行自我评估以确定自主进展或恢复。

每个组件都在 SAP 框架内运行，遵循标准化接口和通信协议，以确保整个任务执行过程中的无缝协调。如图 1 所示，我们的智能体处理来自第三人称和自我中心摄像机的任务描述和 RGB 观测值。规划器按照 SAP 规范生成子目标，VLA 模型根据视觉输入将其转换为 7-DoF 动作。同时，验证器监视时间帧缓冲区，以根据 SAP 验证协议确定子目标的完成情况，在成功时转到下一个子目标，在失败时触发标准化恢复操作。该架构实现了一系列智能体步骤，每个步骤都在 SAP 框架内结合了意图基础、视觉运动执行和基于感知的验证，从而能够在没有外部监督的情况下进行执行纠正。

Planner规划器：LRM

规划器模块（记为 P）在SAP 框架中充当高级推理组件。它遵循标准化分解协议，将任务指令 T 转换为可执行子目标的结构化序列：

作者举了一个规划器规划的例子：

Executor执行器：VLA

执行器模块 E 充当核心视觉运动接口，它根据 SAP 执行协议将每个子目标 t₁ 和相关的视觉观察 I 转换为连续的低级控制信号 ：

其中 at ∈ R7 表示机器人的笛卡尔位移和夹持器配置。前六个维度编码平移和旋转矢量，而最后一个分量 gt ∈ {0,1} 表示二进制夹持器状态。

二进制抓取器状态。利用 OpenVLA，可在自然语言子目标和视觉观察之间建立直接联系。该架构将大型语言模型主干与视觉转换器 (ViT) 相结合，以处理多模态输入并生成适当的运动指令。每个子目标都遵循我们原子技能库 (Atomic Skill Library) 中概述的结构化格式，使 VLA 模型能够通过理解语言指令和视觉场景内容来系统地生成动作。这种结构化方法增强了跨操作场景的兼容性和可解释性，同时将动作空间限制在物理上可行的轨迹范围内。

尽管执行器采用无状态设计，但它通过 SAP 验证循环集成了强大的错误处理功能。当执行失败时，标准化验证机制会通过视觉评估检测问题，并按照 SAP 协议触发特定的恢复操作。如果多次恢复尝试失败，框架会将任务标记为失败并暂停执行，以防止不安全行为。这种闭环错误检测比开环方法有了显著的改进，即使单个子目标执行遇到失败，也能通过复杂的操作序列实现自主进展。

验证器Verifier:基于感知的子目标评估与恢复

验证器模块 V 通过视觉分析评估每个子目标 t₁ 的成功程度，从而在 SAP 框架内提供关键反馈。对于每个验证步骤，它都会按照两阶段评估协议生成二元响应：

其中

是来自第三人称视角和腕戴式视角的近期图像对的滑动缓冲区。此时间缓冲区捕捉视觉动态，例如物体位移或接触转换，通常 K = 2，帧间隔为 5。我们采用 Qwen2.5-VL-3B-Instruct作为验证器模型来评估子目标 t₁ 是否完成。验证提示遵循 SAP 的结构化格式：“根据图像序列，机器人是否已成功完成 [子目标]？”该模型使用 LoRA [10] 在带注释的三元组 (Bt, ti, y) 数据集上进行微调，其中 y ∈ {Yes, No}。当初始响应为 ŷt为No 时，验证者会执行二次检查以确定机器人是否卡住：

其中  是一个诊断模块，用于检测手臂静止、抓握失败或振荡行为等情况。如果 ft Stuck，则触发恢复操作：

例如抬起夹持器或重新调整手腕。然后，系统重新执行 t₁ 并在下一个间隔恢复相同的两阶段验证过程。在 Rmax 次恢复尝试失败后，任务被标记为失败。

图 2：OpenVLA 与 Agentic Robot 在“将奶油奶酪放入碗中”任务上的比较。

上图：OpenVLA 未能抓取物体，导致夹持器与桌子碰撞，任务失败。下图：Agentic Robot 将任务分解为子目标，并通过视觉验证检测失败。它发出恢复操作（抬起夹持器），并通过重试完成任务。绿色框表示 VLM 验证器决策，橙色框表示 VLA 执行器指令。

为了优化响应速度和效率，我们每 20 帧（即每 0.5 Hz）进行一次验证，从而实现接近最佳的准确率（与 10 帧间隔相比仅下降 1.2%），同时将计算负载降低了 48%。与单遍目标检查方法相比，我们的两级验证器支持执行过程中的修正和细粒度的故障定位。

实验结果介绍

LIBERO基准测试结果比较了四个任务套件的成功率(SR)和标准误差,取3个随机种子的平均值,共进行了500次评估试验。FT表示针对特定任务的演示进行了微调。粗字体值表示最佳性能。

OpenVLA和Agentic Robot在LIBERO-Long任务上的性能比较,显示各个子任务的成功率和整体任务的成功率(SR）。Agentic Robot 的表现始终优于 OpenVLA，在所有任务中平均提升 12.1%。在基线成功率较低的挑战性场景中，Agentic Robot 的提升最为显著，例如：在Bowl-Drawer任务中，提升了 24%；在Mug-Mug 任务中，提升了 19%；在Soup-Sauce任务中，提高了21%。这些结果证实了我们的方法在减少连锁故障方面的有效性

结论

本文将Agent框架引入到robot当中，通过实验验证，具有一定可行性，在性能提升和可解释性上具有一定的意义。

个人介绍：技术博客名为YUTransformer，8年AI老兵，从事NLP、大语言模型、多模态大模型等相关算法的研发和落地，拥有丰富的算法经验，先后在百度、平安、小鹏汽车从事算法落地的工作，借助平台将个人的一些算法研究和经验分享出来，一起推动技术的进步！加我vx（yx116169)入vlm/vla大模型群和llm群