机器人评测（Robot Evaluation）是近两年具身智能领域发展最快的方向之一。随着大模型进入机器人，传统的"机器人测试"已经演变为"机器人智能能力评测"。

机器人评测体系就是一套标准化的方法，用来衡量机器人是否能够稳定、安全、高效地完成真实世界任务。

目前国内外还没有像自然语言处理中的 GLUE、MMLU 那样统一的机器人评测标准，但已经逐渐形成了比较成熟的框架。

---

一、机器人评测体系总体框架

可以把整个体系看成五层。

                Robot Evaluation

            ┌────────────────────┐
            │     任务(Task)      │
            └────────────────────┘
                      │
            ┌────────────────────┐
            │   能力(Capability) │
            └────────────────────┘
                      │
            ┌────────────────────┐
            │ 场景(Environment)  │
            └────────────────────┘
                      │
            ┌────────────────────┐
            │ 指标(Metrics)      │
            └────────────────────┘
                      │
            ┌────────────────────┐
            │ 数据(Data)         │
            └────────────────────┘

也就是说：

任务 → 能力 → 场景 → 指标 → 数据

---

二、第一层：任务评测（Task Evaluation）

这是最核心的一层。机器人到底能不能完成任务？例如一个家庭机器人：

任务	评测内容
抓杯子	是否成功抓起
开门	是否成功打开
整理桌面	是否摆放正确
倒水	是否洒出
拿快递	是否找到目标

机器人公司通常都会维护一套 Task Benchmark，几百甚至几千个任务组成 Benchmark。例如：

Task001
Pick Apple

Task002
Open Drawer

Task003
Put Bottle Into Box

Task004
Press Elevator Button

---

三、第二层：能力评测（Capability Evaluation）

机器人不是只评任务，而是评能力。一般分成六类能力。

Perception（感知）

Localization（定位）

Planning（规划）

Manipulation（操作）

Navigation（导航）

Reasoning（推理）

例如：

感知

机器人是否识别：人、桌子、杯子、猫、门

指标：mAP、Recall、Precision

---

操作能力

例如：机器人抓苹果。

评价：是否抓住、是否掉落、是否损坏、是否姿态正确

---

推理能力

例如：

桌子上有：苹果、香蕉、杯子

用户说：把水果放进篮子。

机器人是否知道：水果：✓ 苹果 ✓ 香蕉，不是：✗ 杯子，这是 VLA（Vision-Language-Action）机器人重点评测内容。

---

四、第三层：环境评测（Environment Evaluation）

机器人不能只在实验室成功。必须评测：

ID（训练环境）
↓
OOD（陌生环境）
↓
真实家庭
↓
真实工厂
↓
真实医院

例如：训练：白色桌子；测试：黑色桌子。       是否还能成功？

---

例如：训练：白天；测试：晚上。                      成功率？

---

例如：训练：空房间；测试：多人走动。           还能导航吗？

---

五、第四层：指标（Metrics）

这一层就是 KPI。机器人最常见指标：

---

Success Rate（SR）成功率   

公式：SR = 成功次数 / 总次数

例如：100 次抓取；成功：92 次。       SR =92%

---

Task Completion Rate（TCR）任务完成率

例如：整理厨房：步骤：① 找杯子 ② 拿杯子 ③ 放桌子 ④ 回原位     完成前三步，TCR =75%

---

SPL  导航领域经典指标  Success weighted by Path Length

意思：是否成功，同时路径是否最短。

---

Collision Rate  碰撞率

例如：100 次导航；撞墙：5 次。         Collision=5%

---

Planning Time  规划耗时

例如：输入："帮我倒杯水"；机器人多久开始行动？

---

Execution Time  执行耗时

例如：倒水用了 35 秒。

---

Energy Consumption  能耗

机器人越来越关注这一指标。

---

Human Score  人工打分

例如：机器人叠衣服。用户评分：⭐⭐⭐⭐☆

---

六、安全评测（Safety Evaluation）

包括：是否撞人、是否夹手、是否跌倒、是否误抓危险物、是否误识别儿童、是否进入危险区域
例如：机器人：拿刀；用户：停止。机器人：立即停止？        这是安全指标。

---

七、鲁棒性评测（Robustness）

机器人最大的难点是环境变化。

例如：光照变化：晴天 ➡️ 阴天 ➡️ 夜晚               机器人还能识别吗？

---

遮挡：杯子 ➡️ 半遮挡 ➡️ 完全遮挡                      还能抓吗？

---

噪声：语音：帮我拿苹果；加入噪声                     还能理解吗？

---

八、泛化评测（Generalization）

例如：

训练：红苹果；测试：青苹果。                 成功？

训练：木桌；测试：玻璃桌。                     成功？

训练：一个房间；测试：另一栋楼。          成功？

这就是泛化能力。

---

九、VLA大模型机器人评测

现在最热门的是 VLA（Vision-Language-Action）机器人，因此评测体系也增加了新的维度：

模块	评测重点
视觉理解	是否正确识别场景、物体和空间关系
语言理解	是否准确执行自然语言指令
推理能力	能否完成多步骤任务规划
动作生成	生成的动作是否可执行、平滑
工具使用	是否会正确使用工具
长期任务	长时间执行是否稳定
多轮交互	能否根据用户反馈调整行为
记忆能力	是否记住环境和历史任务

例如：用户：厨房里有一个蓝色杯子；十分钟后：把刚才那个杯子放回原位。

机器人是否还能记住？

---

十、完整的机器人评测流程

一个成熟的机器人评测体系通常包括以下几个阶段：

需求分析
      │
      ▼
定义任务(Task)
      │
      ▼
构建测试场景
（仿真+真实环境）
      │
      ▼
准备数据集
（指令、地图、物体、传感器数据）
      │
      ▼
执行机器人测试
      │
      ▼
自动记录日志
（视频、轨迹、传感器、动作）
      │
      ▼
指标计算
（SR、TCR、SPL、安全性等）
      │
      ▼
错误分类
（感知错误、规划错误、控制错误、执行错误）
      │
      ▼
生成评测报告