2026 年,具身智能行业最不缺的是叠衣服、做咖啡、装盒子、进工厂的视频,每一段 Demo 都流畅得像是马上就能量产。但只要多问一句“它到底有多强”,答案就会出现分歧:

图片
Table 1:OpenVLA-OFT在LIBERO基准上的平均成功率对比

在 LIBERO 上,OpenVLA-OFT 报告的四任务套件平均成功率提升到 97.1%,第三方复现为 96.7%。
图片
Figure 1:GM-100基准的100个长尾真机任务分布

在 GM-100 的 100 个真机任务上,π0.5 的公开复现成功率约 13.0%。
图片
Table 2:RoboDojo真机基准排行表

在 RoboDojo 的 18 个真机任务上,表现最好的 π0.5 约 12.8%,人类遥操作是 100%。

LIBERO 测的是“在训练分布内把动作做对”,GM-100 和 RoboDojo 测的是“在真实世界的分布外把任务做完”。任务、硬件、协议、试次都不同,这些数字不能直接横比。评测分数是条件概率,不是能力本身。一个分数,只在它被定义的那个条件下成立。

01 评测为什么容易失真

2026 年 6 月,UIUC 等团队在《What Are We Actually Benchmarking in Robot Manipulation?》中总结了四类问题:

  • 捷径可解。 模型可能没有学会任务,而是记住了数据集里的统计规律。在 LIBERO 上,一个只有 0.09B 参数、没有语言编码器的探针,就能达到或接近已报告的 SOTA。

  • 统计不显著。 试次少、种子少、方差大,却直接比较小数点后的差异。没有置信区间的排名,很容易变成噪声排行榜。

  • 慢性过拟合。 一个 benchmark 用久了,任务模板、物体资产、评测脚本都会成为公开知识。模型在榜上越来越高,能力未必同步增长。

  • 数据来源依赖。 换一套训练数据、换一个机器人本体、换一个相机视角,分数可能完全不同,但榜单只报告一个聚合分。

再加上仿真与真机的物理差距、任务与能力的混淆、推理栈和硬件的影响,评测本质上是一个因果推断问题:我们想估计“策略的能力”,观察到的却是被多种变量共同污染的分数。

02 2026 评测地图
三层生态

今天的具身评测大致可以分成三层。它们不是替代关系,而是分工:仿真负责迭代,真机负责裁决,社区负责校准。

第一层:仿真基座。 代表有 LIBERO、CALVIN、SimplerEnv、RoboCasa365、BEHAVIOR-1K、RoboTwin 2.0。它们便宜、快、可复现,适合快速迭代;但任务越固定,越容易饱和。LIBERO 的 97% 就是典型:它仍然是好的“冒烟测试”,但对新一代模型的区分度在下降。

第二层:真机考场。 代表有 EIBench、EAI Bench、GM-100、RoboChallenge、RoboDojo、RoboArena。

  • EIBench 由中国电子技术标准化研究院发布,与国标 YD/T 6770-2026 衔接,关注数据格式、模型能力和安全可信。

  • EAI Bench 由中国信通院牵头,从巡检、服务、清洁、搬运等产业场景出发,覆盖模型与整机。

  • GM-100 用 100 个长尾任务、1.3 万条轨迹,以及 SR、PSR、动作预测误差,衡量精细操作和跨平台表现。

  • RoboChallenge 用 Table30 做在线真机打榜,降低“没有机器人”的评测门槛。

  • RoboDojo 用 42 个仿真任务 + 18 个真机任务、3 种本体、5 个能力维度,做“双考场”。

  • RoboArena 在 DROID 平台上做分布式、双盲的 A/B 对比,用相对偏好而不是固定任务来排名。

第三层:专项与基础设施。 LARYBench 关注动作表征,EmbodiedBench 关注 MLLM 的具身推理与规划,WorldArena 关注世界模型的感知质量与功能效用,Embodied Arena 做多 benchmark 聚合,vla-eval 做统一评测 harness。
图片
Figure 2:RoboChallenge Table30 标准化桌面任务概览
图片
Figure 3:RoboArena 的 DROID 分布式真机评估设置

没有一套评测能回答所有问题。选型时先明确:你要测的是能力、泛化,还是部署?

03 π系列推动评测协议更新
评测集需要跟着模型更新。π 系列的每一次迭代,都让上一代评测协议的一部分失去解释力。
图片
Figure 4:π0.5 的异构数据共训架构

  • π0.5(2025.04)考泛化。 用异构数据共训,第一次在完全没见过的家里做长程任务。固定场景的 benchmark 开始不够用。
    图片
    Figure 5:π0.6 的层次化 VLA 架构

  • π0.6(2025.11)考开箱即用。 延续 π0.5 的层次化架构,VLM 骨干由 Gemma3 4B 初始化,动作专家约 860M 参数,知识隔离训练让动作专家梯度不回传 VLM。大量任务不再需要后训练,微调后再测的协议开始失效。

  • π0.6(2026)考经验学习。 RECAP 让 VLA 从真实部署经验、人类纠正和在线 rollout 里做强化学习。最难任务上吞吐翻倍、失败率约减半,主要任务成功率达到 90% 以上。
    图片
    Figure 6:π0.7 的可引导架构总览

  • π0.7(2026.04)考可引导与跨本体。 语言、任务元数据(Metadata)、子目标图像等成为提示词。在无叠衣数据的 UR5e 上达到 85.6% 任务进度、80% 成功率;能组合已学技能做“烤红薯”这类分布外任务;部分任务追平专门的 RL 微调专家。

链条因此清晰:π0.5 考泛化,π0.6 考开箱即用,π*0.6 考经验学习,π0.7考可引导与跨本体。每一代都在让上一代评测协议的一部分失去解释力,不只是分数更高。模型正在从“技能执行器”变成“可指令、可组合、可迁移的通用策略”。

π*0.6 留下的问题还没有被回答:部署之后,它会不会越用越好?2026 年出现的 RSI 系统开始回应这个问题,也让评测对象本身发生了位移。

04 RSI
评测对象开始移动

RSI 让评测对象从静态版本变成会迭代的系统。现有评测大多只测某个版本在某个时间点的分数,测不了改进能否保留、迁移,以及改进由谁驱动。

图片

Figure 7:Physical RSI 的 L0–L5 自我改进分级框架

  • 已有可对照的结果。 EmbodiedRSI 在 RoboCasa365 上达到 77.0% 总体成功率、71.3% 未见过组合成功率;FIND 在八个真实任务上从 55% 提升到 71.9%;PhysEvo 在 held-out 布局上达到 62.00%。π*0.6 的后续实践中,一个初始落后 17% 的模型经三轮真实部署迭代,成功率从 23.67% 升到 43.33%。

  • 当前仍处于弱 RSI。 多数系统处在 L0 到 L5 标尺的 L2 到 L3 之间。失败归因、方案筛选和结果验证仍主要依赖人,递归改进的闭环还没有合上。

  • 评测缺口在跨任务保留。 Physical RSI 综述审计的七个系统中,五个的评测协议无法确立跨任务改进,只有 ASPIRE 和 LRLL 被判定为跨任务评测。

  • 报告应增加改进轨迹。 至少记录保留性、迁移性和自主程度。RoboArena 的相对偏好、EBench 的能力画像、RoboDojo 的双考场,可以看作这类评测的早期形态。

  • 评测要进入改进闭环。 候选修改先经 World Model 筛选,再进真机验证,有效的进入公共版本,然后重新部署。

分数是条件概率,RSI 让条件本身在移动。一个模型今天的分数可能只代表第 N 轮迭代的中间状态;不记录改进轨迹,榜单排名与真实能力的偏差会被放大。既然评测对象会移动,好尺子的标准也需要相应扩展。

01 一把好尺子的五个标准

  • 能力先行。 先定义要测什么能力,再设计任务。最终报告应该是一张能力画像,而不是一个孤零零的排名。

  • 把泛化写进 split。 训练集和测试集不能只是随机划分,要显式构造新物体、新场景、新组合、新本体、新指令,并说清楚“新”在哪里。

  • 仿真和真机成对出现。 仿真负责快速迭代,真机负责最终裁决。同一套任务语义,最好在仿真和真机中各有一版,并公开 sim-real 校准结果。

  • 结果指标 + 过程指标。 成功率、部分成功率、任务进度、完成时间、吞吐、人工干预、危险操作、指令跟随、恢复成功率、失败类型分布,都应该进入报告。

  • 统计与治理。 每个任务至少 10 次有效试次,最好 20—50 次;报告置信区间,做配对比较和多种子;同时要有版本号、更新日志、holdout 集和社区审计。好的评测集,应该像产品一样持续运营。

06 专项评测
动作表征为什么重要

在“评测地图”的第三层,动作表征是一个容易被忽略、但很关键的专项。

LARYBench 1.0(ECCV 2026)把动作表征从下游策略中解耦,用两条路径来测:高层语义动作(what to do)和低层物理动态(how to do it)。数据规模约 120 万段视频、151 类动作、62 万图像对、59.5 万条轨迹、11 种本体。

图片

Table 3:LARYBench 不同模型的动作分类准确率对比

  • 结论一:没有动作监督的通用视觉基础模型,反而比专门为具身设计的隐式动作模型更强。 V-JEPA2、DINOv3 在动作分类和回归上都超过了 LAPA、UniVLA、villa-X 等具身 LAM。

  • 结论二:latent space 比 pixel space 更接近物理动作空间。 像素重建做得好,不等于动作控制做得好。

这些结论来自 LARYBench 1.0 的特定数据与模型集合,仍需要更多独立复现。动作表征、具身推理、世界模型,是三个不同的专项,不能用同一个分数替代。它们更适合作为“能力档案”中的不同条目,而不是一张总榜上的名次。

07 总结
评测的目的,是帮行业降低在选型、验收和复现上的不确定性,而不是为了在榜单上排个座次。

未来一年,具身评测的形态会发生明显变化。真机测试将从偶尔的验证环节,变成日常研发的基础设施;单一的分数排名,也会演变成多维度的能力画像。评测将不再只是研发的终点,而是反过来牵引数据和训练的起点。模型能力越强,落地的场景越复杂,犯错的代价就越高。因此,一套能准确反映能力边界、并持续追踪系统改进轨迹的评测体系,会变得越来越不可或缺。

参考资料

📄OpenVLA-OFT 论文:https://arxiv.org/abs/2502.19645

📄GM-100 论文:https://arxiv.org/abs/2601.11421

📄RoboDojo 论文:https://arxiv.org/abs/2607.04434

📄RoboChallenge 论文:https://arxiv.org/abs/2510.17950

📄RoboArena 论文:https://arxiv.org/abs/2506.18123

📄LARYBench 论文:https://arxiv.org/abs/2604.11689

🤗π0.5 博客:https://www.pi.website/blog/pi05

📄π0.7 论文:https://arxiv.org/abs/2604.15483

📄评测审计论文(UIUC): https://arxiv.org/abs/2606.04233

📄Physical RSI 论文:https://arxiv.org/abs/2610.18842

📄EBench 论文:https://arxiv.org/abs/2606.18239

📄LIBERO-PRO 论文:https://arxiv.org/abs/2510.03827

📄BEHAVIOR-1K 论文:https://arxiv.org/abs/2403.09227

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐