具身智能公司的三大技术支柱：

1. 机器人学基础（ROS2、运动学）

2. 机器人仿真平台（Isaac Sim 等）

3. 机器人 Benchmark 与评测体系

而具身智能评测就是机器人从感知→理解→规划→控制→执行→反馈的整个闭环是否可靠。

---

第一部分：机器人学基础（Robot Foundation）

机器人学不是研究机器人长什么样，而是研究如何让机器人准确、稳定、安全地运动。

它主要包括四大模块：

Robot Foundation
│
├── ROS2（软件通信）
├── Kinematics（运动学）
├── Dynamics（动力学）
├── Motion Control（运动控制）

---

第一章 ROS2——机器人操作系统

ROS（Robot Operating System）并不是操作系统，而是一套机器人中间件（Middleware）。

它解决的是一个核心问题：

机器人由很多模块组成，它们如何高效协同工作？

例如，一个移动机器人同时运行摄像头、激光雷达、深度相机、机械臂、导航、语音识别、大模型推理、底盘控制这些模块需要实时交换数据。如果没有统一框架，就会出现：

Camera → Navigation
Camera → Arm
Camera → AI
Camera → Recorder
...

系统复杂度会迅速增加。

---

ROS2 的通信模型

ROS2 使用发布-订阅（Publish-Subscribe）模式。

例如：

Camera Node
      │
Publish Image
      │
──────── Topic ────────
      │
Vision Node

AI Node

Recorder Node

每个模块都是一个 Node（节点）。Node 之间通过 Topic（话题）通信。

例如：

/camera/image
/lidar/scan
/cmd_vel
/joint_state

机器人一天可能会传输数百万条消息。

---

ROS2 的五大核心概念

① Node 一个功能模块

例如：

Camera Node
Navigation Node
Arm Node
LLM Node

---

② Topic 连续数据流

例如：

Camera
30 FPS
持续发布图片

---

③ Service 一次性请求

例如：

Reset Robot
↓
Success

---

④ Action 长时间任务

例如：

导航到厨房
↓
开始
↓
执行
↓
反馈
↓
结束

导航不能使用 Service，因为可能执行几分钟。

---

⑤ TF（坐标变换）

机器人世界全部建立在坐标系之上。TF 保存所有坐标关系，这是机器人最重要的数据之一。

例如：

Map
↓
Robot
↓
Camera
↓
Gripper

---

第二章 机器人运动学（Kinematics）

运动学回答的问题是：机器人怎样移动到目标位置？它不考虑力，只考虑位置、姿态、速度。

---

正运动学（Forward Kinematics）

已知：

关节角
↓
末端位置

例如：

Joint1=30°
Joint2=40°
Joint3=50°

计算：机械臂末端在哪里？ 这是矩阵连乘：T = A1A2A3A4...

---

逆运动学（Inverse Kinematics）

机器人真正工作的核心。

已知：

目标位置
↓
求关节角

例如：抓桌子上的杯子。需要计算：Shoulder、Elbow、Wrist，每个关节应该旋转多少度。

---

为什么逆运动学困难？

因为一个位置会有很多种姿态，例如人的手可以正着拿杯子，反着拿杯子，侧着拿杯子，机器人也是如此。所以需要优化算法寻找最优解。

---

第三章 运动规划（Motion Planning）

逆运动学解决："到哪里"，运动规划解决："怎么过去"

例如：起点 ➡️ 避开桌子 ➡️ 绕开椅子 ➡️ 抓杯子
经典算法包括：A*、RRT、RRT*、PRM、OMPL，现代机器人则越来越多结合学习算法进行规划。

---

第四章 控制（Control）

规划出来以后机器人还不会动。控制器负责：理论轨迹 ➡️ 控制电机 ➡️ 真实运动

经典是用PID 控制，现代使用MPC（Model Predictive Control）、Whole-body Control、Learning-based Control。

---

第二部分：Isaac Sim 仿真平台

为什么机器人必须使用仿真？

因为现实机器人：一次摔倒可能造成昂贵损失。所以需要训练 ➡️ 仿真 ➡️ 部署。

---

Isaac Sim 的定位

它是一个高保真机器人仿真平台，能够模拟摄像头、深度相机、激光雷达、IMU、机械臂、人形机器人、物理碰撞、光照、摩擦、材质等，与 ROS2 深度集成，支持大规模并行实验。

---

Isaac Sim 的核心模块

USD 场景
↓
物理引擎
↓
传感器模拟
↓
机器人模型
↓
ROS Bridge
↓
AI 算法

一个典型流程是：

Isaac Sim
↓
Robot
↓
ROS2
↓
VLA
↓
机械臂控制

---

为什么评测需要 Isaac Sim？

真实测试1000 次抓取需要几天，仿真10000 次需要几个小时。因此Benchmark 几乎全部首先运行Simulation First。

---

第三部分：机器人 Benchmark 与评测体系

机器人评测不是看回答。而是整个闭环。

Instruction
↓
Perception
↓
Planning
↓
Control
↓
Execution
↓
Task Success

---

Benchmark 包含什么？

一个完整 Benchmark：

任务
↓
环境
↓
数据
↓
Ground Truth
↓
评分器
↓
报告

例如：

Task:Pick Apple
Environment:Kitchen
Objects:Apple、Cup、Knife
Instruction:Pick Apple
Ground Truth:Apple 在手里
Score:Success

---

Benchmark 的层次

目前主流会从四个层次进行设计：

第一层：单技能（Skill）

例如：

抓取 推门 开抽屉 按按钮

第二层：组合任务（Task）

例如：

打开冰箱
↓
拿牛奶
↓
关冰箱

第三层：长程任务（Long Horizon）

例如：

做早餐

涉及几十个子任务和状态切换。

第四层：开放世界（Open-world）

例如：

帮我整理客厅。

没有固定流程，需要机器人自主理解环境和规划行动。

---

常见评测指标

评测不能只看"成功/失败"，通常需要多个维度共同衡量：

指标	含义	示例
Success Rate (SR)	最终任务是否成功	100 次抓取成功 92 次，SR=92%
Task Completion Rate (TCR)	子任务完成比例	完成 8/10 个步骤，TCR=80%
Path Efficiency	路径是否接近最优	是否绕远路
Collision Rate	碰撞次数	是否撞到家具、人
Planning Time	规划耗时	从接收指令到生成动作计划
Execution Time	执行耗时	完成任务总时间
Recovery Rate	失败恢复能力	抓空后能否重新尝试
Human Preference	用户体验	人工对动作自然性、交互性的评价

---

Benchmark 为什么重要？

在大模型领域，评测流程是 数据集 → 模型 → 自动评分 → 排名。

机器人领域同样如此，只是对象从文本变成了真实世界任务：任务集 → 仿真/真实机器人 → 日志与传感器数据 → 自动评分 → 能力分析。不同的是，机器人评测还需要记录视频、轨迹、传感器、动作序列和环境状态，因此评测维度远比文本模型复杂。

---

三者之间的关系

它们不是孤立的，而是构成一个完整的工程闭环：

                 用户任务
                    │
                    ▼
              自然语言理解（VLA）
                    │
                    ▼
            ROS2（模块通信与调度）
                    │
     ┌──────────────┼──────────────┐
     ▼              ▼              ▼
   感知模块       规划模块        控制模块
     │              │              │
     └──────────────┼──────────────┘
                    ▼
          机器人动作执行（仿真/真实）
                    │
           Isaac Sim 或真实机器人
                    │
                    ▼
         Benchmark 自动采集日志与评分
                    │
                    ▼
         输出评测指标（SR、TCR、安全性、
           鲁棒性、效率、恢复能力等）