机器人学这几年最扎实的进展，是把动作预测做得越来越准：视觉—语言—动作模型（VLA）用离散动作 token 或者扩散、流匹配的连续解码器，把预训练大模型里的语义知识接到了机器人的动作输出上。可真正跑过长时间任务的人都知道，动作准和任务成，是两件事。

《Towards Agentic Robots: Model, Data, Environment, and Harness》这篇 79 页的综述把瓶颈换了个位置。它认为机器人智能的边界正在从“把动作预测得更准”移到“把整件事组织起来”：采什么数据、什么时候训、怎么规划、出错之后怎么自己纠正。作者给这种新范式起了名字——agentic robots（智能体式机器人），定义是“用环境观测和执行反馈来自主规划并协调任务执行的机器人系统”（Sec. 3.1）。

我读下来的感受是，这篇论文真正的贡献不是又列了一遍工作，而是先把问题设定改掉：当智能体开始自主组织数据采集、模型训练、任务规划与真实执行时，哪些能力从外围变成了核心，哪些评测口径不再成立。它按模型、数据、环境、harness 四条主线把散落的研究收进十七个类别，再给出四条它认为最该往下走的路线。

图 1｜机器人智能的四个阶段：从任务专用策略，到视觉—语言—动作模型，到世界模型与世界—动作模型，再到跳出已学策略做决策的智能体式机器人

动作预测更准，不等于任务能成

论文的起点是一个大家都承认的事实：基础模型确实让机器人策略学习前进了一大步，尤其在场景理解和跨场景泛化上。但它紧接着指出，单纯把动作预测做得更好，并不保证长时间任务被可靠执行。长程任务要求机器人跟踪进度、在环境变化时调整计划、从失败里恢复，而 VLA 策略本身给不出这些能力。

论文引用的一组评测数字很能说明问题：通用模型 GPT-6 Astra 在 RoboDojo 的 42 个仿真任务上取得 22.48% 的平均成功率，超过专门训练的机器人策略 DM0.5（19.34%），也超过 GalaxeaVLA G0.5（14.88%）、Xiaomi-Robotics-1（13.93%）、OpenWAM-α（11.92%）和 π0.5（6.91%）（Sec. 1）。它能直接用视觉观测生成末端执行器指令、并从执行反馈里调整动作，不需要任务专用微调。论文同时提醒，推理延迟和资源成本会随之变成系统设计问题。

我认为这里最值得琢磨的是它对旧范式的定位。论文把传统方案的局限总结成“缸中之脑”：模型再强，能力也只存在于参数里。智能体式机器人换的是重心——能力不只取决于模型，还取决于环境中可用的工具、观测和反馈。所以数据采集、模型训练、任务规划、真实执行这四件事才会被放进同一张图里谈（图 1）。

图 2｜论文的四域总览：模型、数据、环境、harness 四个功能域如何把模型决策、机器人执行、环境交互与经验学习连成闭环

四域十七类：先给这个领域画一张地图

论文对当前研究的判断是“碎片化”：模型学习、数据获取、环境构建、运行时系统设计各自发展，研究者对“怎么把不同的智能体功能组合成一个完整机器人系统”没有一致看法。所以它先做定义与分类。定义的关键在“自主规划并协调”：这些能力可以实现在一个集成模型里，也可以分散在多个模型、策略、程序和工具之间，判断标准是智能体如何组织和调整任务执行以达成目标，而不是某一种实现形态。这个界定相当宽松，我认为是有意为之：它让端到端的大模型方案和语言模型调度技能的方案都能落进同一个框架。

分类按智能体在系统中的角色分成四个功能域：Model（模型）、Data（数据）、Environment（环境）、Harness（运行装置），共十七个互不排斥的类别。每个域对应一个关键问题：模型域问智能体该学什么、理解什么、决定什么、控制什么；数据域问怎么采集、标注、精炼；环境域问该造什么样的世界、任务和测试；harness 域问机器人能力该怎么被编排、恢复和演化（Table 1、图 2）。

功能域	十七个类别
Model	训练、感知、规划、机器人控制、适应
Data	采集、标注、精炼
Environment	重建、任务生成、评测
Harness	编排、记忆、监控与恢复、技能、基础设施、分层系统

“互不排斥”是这张表最实用的地方。论文举了三个例子：Zero2Skill 把智能体主导的数据采集与准备直接连到后续策略训练；HarnessVLA 在固定执行器周围把记忆、编排、监控和恢复集成在一起；ENPIRE 让一个研究智能体协调实验、改进机器人策略。同一篇工作会因为承担多种功能而出现在多个类别里，按功能而非按论文归类，恰好避开了每条线各讲一遍、彼此不搭界的问题。论文还专门区分了 agentic robotics 与具身智能、自主机器人、机器人基础模型，其中一句是全文最诚实的自我收窄：“agentic”说的是系统内部决策如何被组织，它并不意味着一套系统完全脱离人类指导，也不意味着更高等级的自主性（Sec. 3.3）。

图 3｜抽屉取物任务里的五种模型侧干预：训练改学习过程，感知解释证据，规划组织任务结构，控制给出机器人指令，适应用经验改参数或条件

模型域：智能体第一个动的是学习过程本身

模型域有五个类别，其中训练最特殊——智能体作用的不是环境，而是学习过程：它指定奖励、目标、配置或实验，优化器消费这些产物，机器人 rollout 再回答“策略有没有学到想要的行为”（Sec. 4.1）。按可编辑产物的范围，论文把已有工作分成三层：奖励设计只改优化器消费的信号；程序与实验级方法把范围扩到策略代码和训练管线；工作流级方法连实验流程一起改。

奖励设计这条线上，Eureka 确立了基本闭环：语言模型写奖励代码，再根据训练反馈修改。论文指出了一个容易漏掉的问题：训练反馈能确认终止条件被满足，却未必说明执行真的按指令走完；RDA 用对结果行为的语义分析补这个缺口——把指令拆成子任务、生成可执行奖励候选、训练策略，再把 rollout 视频和子任务奖励日志放在一起评估。全量训练反馈代价高，后续方法从两个方向降本：用更便宜的证据验证奖励，或者收窄搜索范围。EvoNav 用规则和短程代理训练筛奖励程序，前提是廉价测试能保持有用候选的排序；CRWM 把奖励代码生成器条件在离线奖励干预导出的因果先验上，之后 RL 结果不再回流到奖励。论文的总结是：每种方法都是用通用性换取更便宜但更受限的可靠性来源。

我最认可的是论文在这里提炼的设计原则：把目标、配方和实验暴露出来供修改，同时保持用于评判它们的测量稳定。这个区分在智能体改动的东西超过训练配方时尤其重要——奖励、提示、工具和数据的修改，否则会同时改动“干预”和“裁判”。RoboLineage 把 rollout、评审、数据决策、训练运行和部署建议都存成带类型的产物，就是在把这件事做成基础设施。

从证据到动作：感知、规划、控制、适应

模型域剩下的四个类别被论文串成一条链：感知把观测变成任务相关的概念、关系、几何或信念，规划把证据组织成任务结构，控制把选定的操作翻译成机器人可执行的动作、位姿、程序或运动约束，适应则用经验改参数或任务条件（图 3）。

感知这一环，智能体的干预可以是三种：一次解释、一次额外的观测请求，或者一个能揭示缺失证据的物理动作。HINT 在操作模式切换时更新意图、切换相机视角，并在跟踪置信度低时重新定位已承诺的目标；SCOPE 把相机朝向和变焦做成显式动作。论文点出的失效模式最有价值——过期接地：记忆里的物体身份，一旦位置不再支撑拟议的动作，就必须被重新观测。

规划被拆成生成、执行前检查、执行中更新三段。生成可以是逐操作推进，也可以是给子目标让训练好的策略去执行；执行前检查用分层 3D 场景图、图世界模型或工业过程约束验证并修复候选计划。执行中更新依赖反馈，论文给的判据很干脆：能往前规划多远，应当取决于对动作结果预测得有多可靠——结果可预测就组织更长的依赖链，结果不确定就少看几步、让新观测引导后续决策。

控制按“模型需要提供多少细节”分成三档：预定义动作与语言指令、目标位姿与控制程序、运动约束与代价函数，取哪一档取决于执行层已经能做什么；ReKep 和 VoxPoser 值得注意的地方在于，运动求解器能在几何变化时直接响应。适应这一节给的判据可以直接抄进工程笔记：选哪种适应机制，取决于失败的来源——感知错误要补观测，规划错误要重规划，持续的执行失败才值得更新策略。

图 4｜同一次抽屉交互上的三条数据侧干预：采集获得经验，标注补上任务语义与时序监督，精炼筛选有用片段并修正不可靠标签

数据域：把经验变成可训练资产的三条管线

数据域被拆成采集、标注、精炼三段，串起来是一条完整的优化管线（图 4）。采集又分三条路线：真实机器人交互与人类示教、在仿真器里跑任务或程序、用生成模型合成观测与运动。

论文对采集这条线给得最实，因为它把各工作的数据规模列进了表里（Table 7）：SOAR 发布的开放数据集约 30,500 条轨迹，RoboCurate 过滤前生成 10,000 条轨迹，Tether 在 1,946 次尝试中取得 1,085 次成功，Wh0 生成 50,000 段手部视频片段，V-Dreamer 为举升任务生成最多 2,500 条轨迹。比规模更值得看的是“采什么”怎么被决定：AutoRT 用语言模型基于场景描述和可用采集策略的能力提出采集任务；SOAR 用 CogVLM 识别当前场景里可执行的任务，然后优先补齐尝试得少的任务；Tether 优先处理缺少足够成功示教的任务，并生成与场景适配的准备动作；Zero2Skill 用采集与场景重置后的图像判断本轮结果，决定继续还是重试，重试到预设上限才引入人工协助。这一整套设计回答的是同一个问题：让机器人自己决定下一步该采哪条数据。

标注承接原始数据，论文按文本、空间、交互、结果四类监督来组织：RoboAnnotatorX 生成关于物体、空间关系与动作顺序的问答对，RoboSpatial 从 3D 几何推导空间答案、再用确定性模板构造问答对，ECoT 和 TIC-VLA 生成解释当前子任务与下一步动作的推理轨迹；交互标注刻画手、夹爪、工具与目标物之间的物理接触，结果标注标出任务达成、中间进度和安全违规。

精炼是我认为这一段最有价值的部分。HELP 和 ARS 用估计的任务进度保留有用片段、剔除无效动作，论文对它的评价很到位：这样可以让不成功尝试里的一部分也支持学习。Zero2Skill 用人工修正过的成功判据回过头更新此前已采集示教的标签；Reflective Test-Time Planning 用后来的执行结果修正此前的动作评估，并把更新后的反思留作后续监督。也就是说，标注不是一次性的，它可以被后来的执行证据推翻并重写。

图 5｜为一个机器人任务搭建与检验环境的三种方式：重建可执行场景、生成任务目标与约束、固定测试条件与评测口径

环境域：世界、任务、评测是三个会各自失败的对象

环境域有重建、任务生成、评测三类，论文开口就说清了它们的关系：这三个对象可以各自独立地失败——场景可能不稳定，任务可能不可行，评测器可能测不出它声称要测的能力（Sec. 6）。搭建流程应当把每一次失败的检查，连到需要修改的那个对象上（图 5）。

重建要求恢复任务真正用到的结构、交互引起的变化，以及一个智能体能检查和修改结果的接口。论文给的判据是：检查应当暴露对执行有影响的错误，而不是只奖励视觉相似。RoboLab 把稳定性仿真返回的位移误差回传给生成器，GIF 在结算物体后检查所要求的关系是否成立、再去生成示教；铰接资产需要运动学测试，Articulate-Anything 渲染生成的连杆与关节代码、与输入比对、修订后导出 URDF。

任务生成负责目标、初始状态、约束和成功条件：GenSim 把任务库直接生成为仿真代码。自适应任务分布这块，CurricuLLM 生成子任务序列与候选奖励、目标分布代码，RATs 从场景信息、代码技能库和失败记忆里选练习任务，在新鲜度和难度之间取平衡。论文同时给出一个清醒的提醒：用学习者自身的成功信号优化出来的课程，可能只是在变简单，而没有提升目标能力，所以必须在另指定的任务上评估。

评测这一类最值得细读，因为论文反复指出：同一个任务，在观测权限、执行辅助、反馈时机或交互预算改变时，测的就是不同的能力。KinDER 评估参数化技能的开环组合，所以测不到反馈驱动的重规划；ReactHuman 在推理期间暂停仿真，因此测的是危险响应决策而不是实时反应。RoboDojo 把 42 个仿真任务与 18 个真实任务放在一起，评估泛化、记忆、精度、长程执行和开放词汇指令跟随；RobotWorld 覆盖操作、移动操作、运动、驾驶和空中控制共 84 个仿真任务，并规定交互预算和可执行的成败检查。论文的结论落在一句很工程的话上：分数取决于整份执行合同——智能体决策、执行器、反馈路径、观测权限、控制器辅助和交互预算。

图 6｜harness 的六项功能：编排负责调用与交接，记忆保留信息，监控与恢复响应失败，技能封装可复用行为，基础设施暴露并闸控能力，分层系统分配权限与频率

Harness 上篇：编排、记忆、监控与恢复

论文用 harness 指代“让智能体能力对机器人可用的那层软件”：它管理组件怎么被调用、哪些信息可用、执行怎么被检查、什么能被复用（Sec. 7）。六项功能里，编排、记忆、监控与恢复处理当前这一次尝试，技能跨尝试携带行为，基础设施和分层系统描述底下的软件与系统结构（图 6）。

编排要回答四件事：选哪个执行器、函数调用收什么返回什么、下一个执行器能否从上一步留下的状态开始、什么时候把控制权收回来。路由决策的时机各有取舍：VoLo 在执行中决策，监控正在跑的 VLA，动作出错时中止它并切换到由感知引导的手工技能。函数协议这一层，EmbodiedTool 把接口的输入、输出和使用条件写成类型化描述交给智能体遵循，ROSClaw 则在 harness 里强制执行速度上限与接口白名单。至于交接时机，论文把两难说得很清楚：收回控制权太晚，失败的动作会继续；太早，本会成功的动作被打断。

记忆的定位很明确：不改模型权重，只把早先步骤的信息送到后续决策，分写入、更新、检索三段。写到什么粒度是取舍：写太密会堆满冗余，写太疏会漏掉后续决策依赖的事件；HAM-VLN 把每次失败连同发生地点存下来支持回溯。更新要处理场景变化导致的过期：Mimir 把任务记忆和世界记忆分开、用不同算子更新，OVAL 在依赖某条记忆前先拿目标校验一遍。检索决定哪些记录能到达下一次决策，论文把它分成三类：当前决策的证据、继续任务所需的状态、可以替代新计算的早先结果——MeCo 复用相似成功任务的路径点结构，APEX 复用早先更新产生的空间证据。

监控的检查时机决定它能抓到什么：执行前检查只在候选之间选择或排序，执行中检查输出“停或调”的信号，执行后检查才能解释失败原因。更实际的是恢复从哪里继续：失败的一次尝试往往已经把场景改了一半，PhyAgentOS 从当前状态继续并带着新指令恢复，HALTER 则先用场景图历史找出已完成的部分、规划复位技能、再检查复位是否成功，LIBERO-RECOVER 把这两种情况分开评测。反复重试还可能再失败，所以停止规则也要设计：PEACE 在固定预算内重试，LabVLA 只允许一次经过验证的重试。

Harness 下篇：技能、基础设施、分层系统

技能是可以被加载或被调用的过程性知识包：放进上下文，它影响语言模型怎么推理；作为函数调用，它给模型一个可复用的机器人操作。论文把它和记忆、权重区分得很干净——记忆记录发生了什么，权重需要训练，而技能两者都不动，可以被换掉而不重训模型。技能库沿用 Voyager 的模式：程序通过自验证后进入库，按嵌入相似度检索；差异主要在“存什么”和“准入门槛”：RoboCoder 存通过视觉—语言评估器验收的关节级动作代码，DROC 存从人工纠正里蒸馏的知识。技能演化要过门禁：ASPIRE 只提升通过验证且能泛化的修复，RATs 反复成功后提升、反复失败后弃用。论文在这里没有回避反例：没有这类门禁，更新未必累积——有工作报告了连续更新中的非单调进展，还有一项 123 轮的实验发现，被接受的改动并没有在目标任务上累积成成功（Sec. 7.4）。

基础设施是六项里数字最密的一项。能力接口决定智能体能表达什么、能学回什么：EmbodiedTool 注册了一百多个工具，而智能体几乎总能形成合法调用、选对工具却难得多；NavMCP 把三通道返回协议换成 episodic 接口后，问答准确率从 74.0% 掉到 59.1%。工具链层面，感知是若干系统物理失败的主导来源，而这个代价会被特权状态掩盖：有工作报告完整仿真观测下成功率 65.0%、只用 RGB 时 22.5%。工具链也可以被智能体自己修好——有工作加上带原语级轨迹、调试与修复验证的执行引擎后，成功率显著回升。策略服务化这一层，SmolVLA 用异步执行把任务时间降了约 30%，也有工作把 π0 的推理压到几十毫秒级。运行闸控必须放在模型之外：RoboPAIR 越狱了自动驾驶语言模型、地面机器人和商用四足，而 RoboGuard 用模型检查把越狱成功率从 92.3% 降到 2.3%。论文还提到一个我很欣赏的细节：同一套闸控也适用于 harness 自身的改动——ETA 要求修订后的 harness 通过契约检查、隔离评审、重放和留出评测，而它报告的运行里没有任何候选通过。

分层系统把工具和策略组织成不同频率运行的三层：System 2 规划器、System 1 学到的视觉运动策略、System 0 解析控制器。频率是实打实的工程约束：Helix 把视觉—语言模型写出的单个潜向量以 7–9Hz 送给 200Hz 的策略，GR00T N1 从 10Hz 的推理模块把中间嵌入传给产生 120Hz 动作块的模块，接口形式是另一个取舍：潜向量携带的信息更多，但对监控不透明；文本、路径和路径点可以被检查，代价是能表达的东西变少。论文引的一项对照还发现，把通用推理模型换成具身推理编排器后总失败率减半。这一章的取舍最后被收进一句话，我认为是全文最值钱的工程判断之一：执行器之间的桥接能扩大可接续的状态，但消耗运动时间；检索到的历史能保住承诺，却可能传播过期证据；可编辑的代码能修复复发故障，也可能改掉评判它的那个监控器。

最值得记住的一组数字

综述容易读完就忘，我把这篇里最能带走的一组数字单独拎出来。

22.48% 对 6.91%。在 RoboDojo 的 42 个仿真任务上，不做任务专用微调的通用模型，平均成功率是专门训练策略 π0.5 的三倍多（Sec. 1）。它说明“智能体式”这条路线有真实的起点。

74.0% 到 59.1%。把 NavMCP 的三通道返回协议换成 episodic 接口，导航问答准确率直接掉 15 个百分点（Sec. 7.5）。接口不是包装，它是能力的一部分。

60% 到 82%。Show-Harness 只把语义笛卡尔步长减半，零样本成功率就抬了 22 个百分点（Sec. 7.5）。同一个模型、同一个任务，粒度改一下就变了。

14% 到 62%。给编码智能体配上带原语级轨迹、调试与修复验证的执行引擎之后，LIBERO-Pro 扰动上的宏平均成功率变化（Sec. 7.5）。这种可修性正是 harness 存在的理由。

92.3% 到 2.3%。把计划交给独立的模型检查器按规格验证，越狱成功率的变化（Sec. 7.5）。安全这一层不能交给生成动作的那个模型自己。

65.0% 对 22.5%。同一套方法在完整仿真观测和只给 RGB 之间的成功率差（Sec. 7.5）。论文用它说明：特权状态会掩盖感知代价，评测必须区分这两档输入。

适用边界与作者指出的开放问题

这篇论文难得的地方，是它不装作已经解决了问题——第八章的四条路线，就是四类它承认的开放问题。

第一是公平评测。任务成功率本身无法说明是系统的哪一部分起了作用：两个系统在同一个基准上分数相近，可能一个靠更强的 VLA 执行器，另一个靠智能体协调多个较弱技能、补观测和恢复。论文主张做受控比较（同一执行器、同一观测权限、同一交互预算），并要求端到端评测报告每个系统可用的资源。

第二是真机部署。计划在智能体看来合理，不代表机器人能执行：推理模型可能要求超出臂展的抓取，或基于过期观测选择技能。论文指出一个容易被忽略的时序问题——发出停止请求，并不保证机器人已经停下；在重规划之前，智能体需要能确认当前状态和已执行动作效果的反馈。

第三是高效使用。论文的核心判断是效率不只取决于模型跑多快，还取决于它什么时候被调用。它还补了一句反直觉的提醒：更少的模型调用或更快的推理，如果带来更多失败与重试，就不算提效。

第四是跨本体泛化。同一个目标，轮式机器人、人形和无人机需要不同动作，传感器、控制接口和物理约束也不同。RobotWorld 用覆盖五类本体的 84 个仿真任务来测通用智能体，但论文坦承仍不清楚同一个智能体能否在不对规划与工具使用做重大修改的前提下适应新机器人。哪些经验可以复用也有边界：高层策略可能跨机器人有用，而具体运动指令和控制参数往往与本体绑定。

最后回到定义上的自我收窄：论文明确说“agentic”描述的是决策如何被组织，不代表完全脱离人类指导，也不代表更高等级的自主性。这句话应当和上面的四条路线放在一起读——它给这篇综述划了一个诚实的边界。

我读完之后的几点提炼

第一，把“谁做改动”和“谁做评判”分开。论文在训练那一节给出的原则可以直接抄进任何智能体项目：目标、配方、实验都可以开放给智能体修改，但用来评判它们的测量必须稳定。一旦奖励、提示、工具和数据都能被同一个智能体改，干预和裁判就混在一起，结论不再可归因。

第二，接口要报失败，不要只报成功。从 NavMCP 的 74.0% 到 59.1%，到 EmbodiedTool 里“调用几乎总是合法、选对工具却难得多”，再到 Physical Agency 用类型化失败和夹爪传感器覆盖掉一个被误报的成功——给智能体的返回值里，最贵的信息是“哪里不对”。把失败模式和触发条件写进工具接口，比多注册几个工具更有用。

第三，让记忆和技能都带上过期与退役机制。论文反复强调过期接地：记忆里的物体身份一旦位置不再支撑拟议动作就必须重新观测；技能库里的条目在准入时被检查、之后很少被回看，一个有缺陷的技能会一直留到有人来改它。RATs 的“反复失败就弃用”和 SkillOpt 的留出验证门槛，是这个问题的两个直接答案。

第四，评测要把执行合同写清楚。观测权限、执行辅助、反馈时机、重试次数和交互预算，这些参数和任务本身一样决定分数。做机器人系统的对比时，我倾向先把这五项列出来，再比成功率——否则 65.0% 和 22.5% 这种差距会被完全掩盖。

结语

这篇综述的价值，是把机器人智能的讨论从“模型还能不能更强”挪到了“整件事怎么被组织起来”。它给出的四域十七类不是一份工作清单，而是一张能用来定位问题的地图：一个机器人系统失败了，先分清是模型学得不对、数据不够或不可靠、环境与任务搭得不对，还是 harness 没有把能力组织好。前四十八页的梳理和最后四条路线，最终都指向同一句判断——智能体的能力不只写在参数里，也写在它可用的工具、观测和反馈里。