回合成功率 98%,动作成功率只有一半:12 个机器人基准拆到每一步之后
先看一组反差数字。在 LIBERO-MAX 这个基准上,前沿智能体直接输出低层数值动作去控制机械臂,回合成功率是 98%;但把同一批回合拆到单个动作来看,只有 50% 的动作真正完成了它自己声称要做的那一步。换成 RoboDojo,这组数字是 22% 对 77%,方向整个反过来。同一个系统,两种统计口径给出两种完全不同的印象。
这就是我读 AgentRoboCritic: Understanding the Capability of Frontier Agents on Direct Robot Control(arXiv:2611.26613v1,卡内基梅隆大学、伊利诺伊大学厄巴纳-香槟分校与博世北美研究院,28 页)时最想追下去的问题。论文的主张很简单:回合级的成功率是一种太粗的刻度,它既说不出智能体是靠哪几步成功的,也说不出它在哪一步摔的。于是作者把评测单位从回合改成动作,跨 12 个操作基准逐条判定,共标注了十几万条动作,并顺手发布了一套 12,844 条动作的标注数据和一个微调后的开源评判模型。
我更愿意推荐它的理由在于:它没有提出一个新策略,而是先把「怎么算这一步成了」这件事变成可判定问题,再去量能力。这种顺序上的调整,往往比多刷几个点更有后劲。
一个动作算不算成功,取决于它原本想做什么
现有评测其实不少。论文的相关工作一节列得很密:有人在 RoboDojo 全部 42 个任务上让前沿智能体与公开策略对打,有人测 RoboMME 里依赖记忆的任务,有人在 RoboLab-120 的抓放套件、真机双臂桌任务、以及视触觉的 UniVTAC 与 OpenViTAC 上跑同样的模型;也有跨模型研究把多个前沿模型塞进同一套测试架,跑 RoboColiseum 的四个赛道,或者在真机上盯六个任务的能力漂移;Embodied First Exam 则把数百个仿真任务开放给编码智能体,并且独立核验结果,而不是采信智能体自报。
这些工作全都停在回合这一层:二值成功率,或者聚合的进度分。问题不在于粗,而在于粗得不合位置。作者给出的卡点很本质:机器人操作本身是多模态的,同一个任务可以有很多条都算合理的轨迹。抬起夹爪停在半空,既可能是抓空了之后的失败,也可能是智能体为了试探物体稳定性而故意松开一点再抬。离开「这一步想干什么」,这个动作的对错根本无从判断。
所以在只给全局目标的动作级评测里,判定会退化成含糊。论文的做法是给每一步补一个可以核对的局部契约:动作由策略自己附一句意图,评判就只针对这句意图。这样一来,「这一步成没成」从主观解释变成了可验证命题,失败也能被归到具体机制上,而不是一句「任务没做成」。三种评估协议摆在一起看,差别一眼就能看清(图 1)。

图 1|三种评估协议并排:只报回合结果、只给全局目标,都不足以判定单步是否成立,补上局部意图之后才可判;右侧是各评判模型在人工标注集上的失败模式准确率。
关键设计:把「这一步想做什么」写进那次工具调用
论文先形式化直控设定。任务指令是 G,决策步 t 上策略 π 看到当前观测与交互历史,输出控制命令,命令可以是六自由度末端位姿、关节角、夹爪开合,也可以是一段原语轨迹。关键差别在于表达方式:专用视觉语言动作模型需要额外的动作头或连续解码器,而前沿智能体是通过自己原生的语言生成界面,把这些数值动作写成结构化文本,再经工具调用发给机器人。这就是为什么它们不需要任务特定微调也能上手。
在此之上,作者做了一个很小的扩展:让策略在同一次工具调用里联合输出动作与局部意图,也就是把生成式改写成(动作,意图)成对出现,一条回合因此变成带意图的轨迹。工程上的落实更直接:执行框架给每个工具调用加了一个必填的意图参数,凡是漏了这一步意图的调用会被自动拒绝,逼智能体重发一条说明清楚的命令。这个细节我很欣赏,它把「写意图」从软要求变成了硬约束,数据才不会东缺一块西缺一块。
评判侧的输入是一个有界的观测窗口:动作执行前与执行后的多视角画面,外加可选的短程后续帧。这个后续帧不是装饰——夹爪闭合这个动作,只看闭合前后两张图是判不出有没有抓住的,必须再抬一下、看到物体跟着上来,才算确立了抓取与保持。于是评判被写成一次映射:给定全局目标、局部意图和观测窗口,输出结果标签、失败模式与一句诊断说明(图 2)。

图 2|三阶段流水线:策略在同一次工具调用里同时给出动作与局部意图,评判模型对照全局目标、局部意图与前后帧判定该步,人工再对同一批动作做标注校验。
七类失败模式:给每个摔倒的动作找一个物理机制
输出空间是这套框架里最像「工程」的部分。结果标签有四种:达成、失败、部分完成、不可判。前两种是主判据,部分完成用来容纳有意为之的增量小动作,不可判用来容纳被遮挡或录制截断的情况,在完整动作上它就退化成二值分类。失败则要落到七类模式之一:抓取、对齐、干涉、效果未达、动作不完整、选择错误、机制不明。
给这七类写边界规则比写定义难得多。附录的判读手册里每一类都配了定义、解释、边界规则和例子,而且边界都成对划:物体不在手里算抓取失败、还在手里但和目标位置有偏差算对齐失败;工具没碰到接触目标算对齐、碰到了却没产生所声明的效果算效果未达。手册里有一句关键约束——动作若忠实执行了它自己那条意图,它与整体任务之间的错配不算选择错误。这条把局部契约的地位钉死了:评判只看这一步说好要做什么。
为了不让归因变成猜谜,作者定了三条协议原则。一是接触感知的时间窗:够取与对位可以用动作边界的两帧判定,夹爪闭合则必须补抬升帧,否则会把瞬时接触误判成抓住。二是把局部有效性与回合结果解耦:早期抓空、后来补抓回来的回合,那个抓空的动作依然记作动作级失败;反过来,一次刻意的诊断性测试只要完成了意图,就记达成。三是证据受限归因:判不清机制就写机制不明,不许编造看不到的力、摩擦或标定问题。
抓取这一类还被拆成十四个子类,用来记录接触错在哪儿、或者在哪一刻丢的。我一开始觉得这是过度设计,读到后面 4.3 节才明白,子类分布本身就是结论:它直接指出了瓶颈落在三维定位的哪一环。
| 失败模式 | 一句话判据 | 占比 |
|---|---|---|
| 抓取 | 目标物体没被拿到,或者拿到后没保持住,动作意图因此落空 | 54.4% |
| 干涉 | 动作引发了非预期的碰撞或位移,把这一步的目标毁掉了 | 21.9% |
| 对齐 | 物体在手里,或接触该发生,但没对上目标关系,差一截、歪一点 | 15.4% |
| 动作不完整 | 要求的移动、张开或复位没做完,且没有更具体的机制可归 | 5.7% |
| 效果未达 | 工具仍在控制中,却没产生所声明的倒、压、刮等物理效果 | 2.4% |
| 选择错误 | 执行结果与局部意图里点名的物体、顺序或类别相矛盾 | 0.2% |
| 机制不明 | 确实失败,但现有证据不足以确定是哪一类机制 | 4 条(约 0.03%) |
十二个基准、近十三万个动作,与一张四百条的人工卷子
覆盖面是我判断这类评测文章的第一道关。论文横跨 12 个操作基准:RoboDojo、StationeryBench、Astranomy、UniVTAC、OpenViTAC、ContactBench 1.0、LIBERO-MAX、Meta-World+、DexJoCo、RoboWits、RoboTwin 2.0、YAMLab。采集方式分两路:其中七个基准重新采了 GPT-6 Astra 的回合,强制每个动作带意图、并在动作边界记录相机画面;另外五个则把已发布的评测轨迹接进来,用统一的对齐适配器把意图记录与动作前后帧配对。
规模可以按动作数看:RoboDojo 一个基准就有 105,429 条动作、2,100 个回合,StationeryBench 1,544 条、Astranomy 9,003 条、UniVTAC 与 OpenViTAC 合计 3,600 条;另外六个基准的 197 个回合、9,232 条动作全部标注,连判成部分完成、不可判和不适用的也一并保留。对照组是零样本设定下的代表性强基线:视觉语言动作模型 π0.5 与世界动作模型 InternW0-Δ,都不做任务特定微调。
人工卷子是第二道关。400 条动作由人工独立标注,标注者看到的输入与评判模型完全一致:任务指令、局部意图、动作前中后三路画面。其中 34% 是成功动作、66% 是失败动作,也就是 264 条失败样本,后面所有关于评判可靠性的讨论都落在这 400 条上。规模不大,但它足以回答一个具体问题:自动标注能不能代替人。
| 基准 | 回合成功率 | 动作成功率 | 失败动作挽回率 |
|---|---|---|---|
| RoboDojo | 22% | 77% | 57% |
| StationeryBench | 7% | 58% | 32% |
| Astranomy | 52% | 66% | 63% |
| UniVTAC(仅视觉) | 76% | 86% | 17% |
| OpenViTAC(仅视觉) | 80% | 91% | 66% |
| ContactBench 1.0 | 48% | 44% | 42% |
| LIBERO-MAX | 98% | 50% | 100% |
| Meta-World+ | 98% | 81% | 98% |
| DexJoCo | 64% | 60% | 70% |
| RoboWits | 67% | 65% | 64% |
| RoboTwin 2.0 | 91% | 72% | 59% |
| YAMLab | 90% | 66% | 97% |

图 3|四联图:成功回合里含失败动作的比例、按失败个数分层的成功率、失败后若干步内的累计挽回率,以及逐基准挽回率与含失败回合成功率的散点。
我认为最有价值的一个发现:一半的成功是从自己的失败里爬回来的
模仿学习出身的策略有个老毛病叫协变量偏移:一步走偏,机器人就被推出了示范分布,后面越错越多,直到整个回合报废。前沿智能体在直控设定下的表现不一样,论文把这个差异量了出来。
在全部成功回合里,49.8% 至少含一个局部失败动作。也就是说,一半的成功能被看见是「摔了再爬起来的」,而不是一路顺滑。按回合内失败个数分层看得更清楚:没有失败动作的回合成功率 75.1%,含一到两个失败的降到 40.3%,含三个以上再降到 13.3%。能力有代价,但代价不是全损。
更进一步是挽回动力学。作者取 1,989 个官方计分回合里的 12,163 个带标签的失败动作(其中 9,923 条来自 RoboDojo),逐条向后找第一次被验证的挽回:抓空之后重新抓起来、并且看到物体跟着夹爪上升,才算数;只是把夹爪抬起来而手里空着,不算。结果是 38.9% 在后续 10 步内被挽回,到回合结束累计 57.7%,其中 6,435 条是直接修好了原本的子目标,589 条是改走另一条路线绕过去。换两种加权方式也稳:按回合等权平均是 60.7%,只看每个回合的第一个失败动作则升到 76.2%。
最打动我的是最后那张相关性:逐基准把失败挽回率与「含失败回合的官方成功率」对照,12 个点上的 Pearson r=0.81(p=0.001)、Spearman ρ=0.86。这说明挽回能力不是个花絮指标,它和这个范式能不能把任务做成直接挂钩(图 3)。我一直觉得「会不会自己纠错」应该是一个独立的能力维度,现在它第一次有了可比的度量。

图 4|两段成功回合:上半段连续七步把一次落空的抓取纠正回来,下半段按第一条局部意图里说好的次数与顺序按键,每帧标出该步的判定。
另外两个正面发现:语义几乎不错,零样本直接越过 VLA
第二个正面发现是语义接地。论文把「执行结果与局部意图里点名的物体、顺序或类别相矛盾」定义为选择错误,这个类目在 12 个基准的全部失败动作里只占 0.2%,在任何一个单独基准上不超过 3.3%。注意这是一个很严格的口径:判的是它有没有做自己说要做的那个物体、那个顺序、那个类别,而不是它有没有做对人类觉得对的事。即使面对没见过的物体实例和视觉干扰物,前沿智能体基本都按自己意图里说的对象动手。
这与专用模型的短板形成对照。视觉语言动作模型与世界动作模型在视觉扰动、相机偏移、空间重排下容易掉点,在 LIBERO-Plus、LIBERO-MAX、VLATest 这类鲁棒性套件上跌得很难看。语义层面不错,说明它们的能力来自更靠上的那层理解,而不是对某批轨迹的拟合。
第三个是零样本操作。在 RoboTwin 2.0 的堆叠积木任务上,回合成功率是 91%、6%、0% 三档,依次是 GPT-6 Astra、π0.5、InternW0-Δ;在 YAMLab 的递杯挂杯任务上是 90%、0%、0%。论文附录把这组对比扩到五个套件,总体是 89% 对 4%,而且 π0.5 做成的任务 GPT-6 Astra 全都做成了。作者还强调了一个结构性优势:前沿智能体在拿到操作能力的同时,把通用语言推理和多模态理解留在同一个模型里,而把视觉语言模型拿去适配机器人轨迹,常常会把这些通用能力磨掉。
附录里那段定性材料值得单独看。同一段成功回合里,前七步是一次抓空的完整纠正过程:合在积木前方没夹住、张开、后撤、重新对位、合上、抬起、搬运;另一段里,智能体按第一条意图里说好的次数与顺序把红蓝按钮依次按完,一次没漏(图 4)。这两段正是前面三个结论的肉眼版本。

图 5|十六根横条对应十二个基准(其中一个拆成五个评价维度),按七类失败模式分段;抓取在多数基准上占主导,仅用视觉的视触觉基准上对齐反超。
短板之一:抓取与对齐,卡在毫米级的定位上
失败模式的分布随任务几何系统性地迁移,这是论文里我最愿意拿去讲的一张图。在普通桌面与双臂操作里,抓取是首要瓶颈,而且在十个非触觉基准里有九个都是最高频的失败模式。任务一旦换成紧公差的装配与插入(也就是 UniVTAC 与 OpenViTAC 这两个视触觉基准的纯视觉设定),瓶颈会陡然从抓取换到对齐:抓取端 75% 与 86% 的失败都落到了对齐上——模型能稳稳抓住连接件、也能把连接件送到插座附近,但只靠视觉解不开毫米级的配合公差与角度。
而在物体密集或需要多阶段重排的基准上(RoboDojo 的泛化、记忆、长程三个维度,加上 Meta-World+),干涉的比例明显上升,原因是搬运途中的非预期碰撞;LIBERO-MAX 与 StationeryBench 则是动作不完整占大头,表现为够取提前终止或者释放没做完(图 5)。
4.3 节把抓取这一类继续往下切,结论相当锋利:五分之三的抓取失败发生在合爪的那一刻,物体还没被握住;只有五分之一发生在抓住之后。合爪时刻的具体形态是:只捏住边沿、尖端或棱(25.7%),合在物体旁侧(18.8%),合在物体上方(10.2%),以及闭合把物体推开等其他合爪错误(6.7%)。这些情形有一个共同点——物体选对了,夹爪也送到了,输在深度或横向的几毫米偏移上。作者据此判断,抓取瓶颈的本质是夹爪相对物体的精细三维定位。这句话我觉得可以当作整个直控路线的施工图。
抓住之后的风险主要在搬运:搬运中脱落 13.6%、首次抬起脱落 4.9%,交接或释放失败只有 1.5%。还有一类很值得警惕:9.5% 的抓取失败是「手里已经空了还在继续抬或继续搬」的下游动作,说明智能体有时没能从观测里发现自己已经丢了物体。这一条反倒给了评判框架一个产品化的用法——它可以在丢东西的那一步就报警,当作在线监控。

图 6|左图按失败模式给出到回合结束的挽回率,动作不完整、抓取、干涉都在六成上下,对齐与效果未达仅三成;右图把抓取失败拆到合爪时与合爪后。
短板之二:恢复能力在失败模式之间极不均匀
会恢复不等于都会恢复。按失败模式拆开看,到回合结束的挽回率是:动作不完整 68.2%(479/702)、抓取 63.7%(4,155/6,523)、干涉 59.1%(1,602/2,711),而对齐只有 35.7%(681/1,908)、效果未达只有 29.6%(87/294)。选择错误与机制不明样本太少,分别是 21 条里挽回 18 条、4 条里挽回 2 条,不足以支撑结论。
更要紧的是,多给步数并不能补上这个缺口。对齐与效果未达这两类在 30 步之后挽回率的变化都不到 3 个百分点——不是「再多试几次就好了」,而是这两类失败卡在闭环之外。作者的解释也合理:这两类的动作其实已经到位了,输在最后的偏移量或者接触产生的物理效果上,而这两件事恰恰是最难从多视角画面里看出来、也最难靠重试碰上的。
基准层面也能看到同样的分层。逐基准的挽回率从 17% 到 100% 拉得很开:UniVTAC 只有 17%、StationeryBench 32%,而 LIBERO-MAX 与 Meta-World+ 分别是 100% 与 98%。这两个低分基准的主要失败模式分别是对齐、以及动作不完整加抓取,两个高分基准的失败则大量落在可修复的机械误差上。所以「这个范式会不会自己爬起来」不是全局属性,得按任务几何分开看。
我把这理解成一个清晰的分工判断:闭环纠错能修复「物体获取」与「运动」层面的错误,但修不了「精度」层面的错误。空间与接触精度仍然是紧公差操作的硬门槛,指望靠更强的模型自我纠错绕过去,看起来不成立(图 6)。
critic 本身靠不靠得住:人工标注、消融与自我偏好
整套分析都建立在一个自动评判模型之上,所以评判本身必须先被验证。论文用 GPT-6 Astra 充当评判,在 400 条人工集上拿到结果准确率 79.25%(κ=0.497)、失败模式准确率 80.68%(κ=0.600)、综合 71.25%,这三项都是表内最高,和排第二的 Claude Fable 5.2(78.25%、72.73%、71.00%)几乎并排,但后者成本更高,为 26.52 美元对 26.06 美元。
最有说服力的是那次消融。把局部意图拿掉、只给全局目标和观测,GPT-6 Astra 的结果准确率掉到 25.25%、失败模式掉到 25.00%、综合 24.50%,是整张表里最低的一组。原因论文写得很直白:没有局部意图,它会把大量动作判成不可判,因为同一段运动既可能是不完整的够取,也可能是没对上的插入,还可能是抓空。这一条把框架的必要性验证得很干净——不是「加了意图稍微好一点」,而是没有意图这个任务本身就不成立。
还有一个必须回答的质疑:政策与评判是同一个模型,会不会自我偏袒?作者做了正面检查,统计每个评判把「人工判为失败」的动作错标成达成的条数。264 条失败动作里,GPT-6 Astra 只错标 19 条(7.2%),是所有评判里最严格的;来自另一个模型族的 Claude Fable 5.2 错标 75 条(28.4%),准确率却接近,说明高一致性不是同族自恋。人工复核也补了一层:标注者对每一处分歧都重新看了一遍,其中不少是单步内的复合失败,比如合爪太浅(抓取)同时把物体推倒(对齐),人和模型各抓到了其中一个有效成因;把这些被接受的批评算作正确之后,一致性在结果与失败模式两项上都超过 90%。
| 评判模型 | 结果准确率 | 失败模式准确率 | 综合准确率 |
|---|---|---|---|
| GPT-6 Astra | 79.25% | 80.68% | 71.25% |
| Claude Fable 5.2 | 78.25% | 72.73% | 71.00% |
| GPT-6.1 Sol | 74.50% | 62.12% | 69.75% |
| GLM-5.3-Flash | 62.00% | 42.80% | 58.25% |
| Claude Sonnet 5.5 | 56.75% | 32.58% | 50.75% |
| Muse-Glimmer-30B 零样本 | 52.50% | 32.58% | 34.75% |
| Muse-Glimmer-30B 微调后 | 76.25% | 74.24% | 67.75% |
| GPT-6 Astra 去掉局部意图 | 25.25% | 25.00% | 24.50% |
从 32.58% 到 74.24%:把动作级判读搬到 30B 开源模型
论文最后落地成两件可以复用的东西:一套 12,844 条动作的标注数据,以及在其上微调的开源评判模型 Muse-Glimmer-30B。
数据的构成值得看清楚。它取自 2,027 个回合,只保留执行状态明确为达成或失败、且动作前后观测完整的样本,并按每三个失败动作配一个达成动作来采样——这个比例本身就承认了失败样本更稀缺也更有信息量。切成训练 12,844 条(达成 3,211 + 失败 9,633)、验证 1,548 条、测试 1,936 条,切分按回合隔离,同一个回合不会跨集合,400 条人工标注动作全部来自测试集。微调用 LoRA,秩 32,峰值学习率 5×10⁻⁵,两个 epoch,批大小 32,上下文长度 65,536,只训适配器、基础权重冻结。
效果是这次微调最值得记的数字:失败模式准确率从 32.58% 提到 74.24%,综合准确率从 34.75% 提到 67.75%,结果准确率从 52.50% 提到 76.25%。这个成绩超过了所有未微调的开源模型,在失败模式上超过除 GPT-6 Astra 之外的全部专有模型,而推断成本只有 0.79 美元,约为 GPT-6 Astra 的三十三分之一。我特别看重成本这一栏:动作级标注的瓶颈从来不是判得准不准,而是判得起不起。把判读从每 400 条 26 美元压到不到 1 美元,才谈得上对大规模轨迹库做常规体检。
顺带一提,微调还让它更严格:被它错标成达成的失败动作从 67 条降到 34 条,说明这套数据学到的不只是标签分布,也学到了「失败要看得出来」的判据。附录里还有一个单例演示:同一个冻结策略在 DexJoCo 浇水任务上重试两次,给了失败上下文但没给评判意见的那次把扳机打偏、得 0 分;带上三条动作评判意见的那次把喷头掰向植物、拿到 1 分。单例不能当统计结论,但它说明动作级批评可以回灌给策略当下一次尝试的提示。
适用边界:这套结论覆盖到哪里为止
第一层边界是覆盖率。12 个基准听起来不少,但其中五个是用已发布轨迹接进来的,动作的定义由各基准自己决定——RoboDojo 把一次执行调用算一个动作、Astranomy 以一个原生动作块算一个、UniVTAC 与 OpenViTAC 把一次意图下的一整块原语算一个。动作粒度不统一,跨基准比较动作成功率时得留出这层折扣。另外两个视触觉基准跑的是纯视觉设定,触觉通道根本没进这条流水线,所以「对齐是瓶颈」这个结论其实是在缺触觉的条件下得出的。
第二层边界在评判的输入依赖。整条链条要求策略能说出局部意图,而前沿智能体恰好天生走工具调用、加一个必填参数就能落地。换成端到端训练的视觉语言动作模型就很难照搬:让它们在每个控制步都给出可靠的子目标并不容易,论文也承认这一点。这意味着这个方法目前更适合评前沿智能体,而不是一个通用的机器人策略评判器。
第三层是证据强度。人工集只有 400 条、264 条失败,覆盖率有限;「接受批评后一致性超过 90%」是重新裁定之后的结果,不是盲测一致率,读的时候要分清楚;人工标注者的人数与标注者之间的一致性,论文未给出。自我偏好检查虽然做了,但也只在 264 条失败动作上做。附录那个「评判意见改善重试」是单实例演示,作者没有把它写成统计结论,我也不打算替它加码。
第四层是工程可用性。决策延迟中位数 31.9 秒,对面 π0.5 是 0.110 秒,74 个配对任务上差了两个数量级;RoboTwin 2.0 上 38.4 秒对 0.109 秒,YAMLab 上 34.1 秒对 0.142 秒。这个量级适合离线分析与批处理诊断,不适合做实时闭环控制。反过来看,这也正是为什么需要那个 0.79 美元的轻量评判模型。
最后一层要替作者说清楚:要求每个动作都写局部意图,几乎不影响策略本身的表现——在双方都覆盖的 76 个 Standard 实例上,有、无这个要求时的成功数都是 42/76(55.3%)。这条很重要,它说明前面量到的能力不是被评测协议催出来的。
我读完之后的几点提炼
如果只记五句话,我会这样记。
回到开头那组反差。我不认为 50% 的动作成功率是在否定前沿智能体——恰好相反,正是因为有一半的失败被自己修好了,98% 的回合成功率才成立。这篇论文的价值,是把这条「摔倒再爬起来」的链路第一次摆到了可测量、可归因、可比较的位置上。对做机器人评测的人来说,它提供了一套可以直接借用的判读口径;对做策略的人来说,它指出了下一段路该往毫米级的精度上走。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)