面向具身智能的人类行为数据基础设施
面向具身智能的人类行为数据基础设施
——为什么需要一个“ImageNet for Embodied AI”
如果说 ImageNet 解决的是“让机器学会看”，那么具身智能现在面临的问题则是：
如何让机器学会像人一样观察、理解并执行真实世界中的动作。
近年来，具身智能、VLA（Vision-Language-Action）模型快速发展，一个越来越明显的问题也随之出现：
模型本身可能并不是最大的瓶颈，真正稀缺的是高质量的真实世界行为数据。
例如京东开始着手收集第一视角数据：
互联网已经拥有海量图片和文本，因此自然语言模型和视觉模型可以利用规模巨大的公开数据进行训练。
但对于机器人来说，真正有价值的数据往往不是一张图片，而是一段完整的行为过程：
人看到了什么 → 做了什么 → 手如何运动 → 物体发生了什么变化 → 下一步又做了什么。
这意味着，具身智能可能需要一种新的数据基础设施：
一个类似 ImageNet，但数据对象从“图片”升级为“人类行为 Episode”的数据平台。
一、ImageNet解决了什么问题
在深度学习发展过程中，ImageNet的重要意义并不只是“有很多图片”。
它真正解决的是三个问题：
大量数据
↓
统一的数据组织方式
↓
统一的标签体系
↓
模型可以规模化训练
例如一张图片可能被标注为：
Image
├── cat
├── dog
├── car
└── airplane
模型因此可以学习：
图像 → 视觉特征 → 对象类别
ImageNet让计算机视觉从：
“计算机能不能识别一张图片？”
逐渐走向：
“计算机能不能在数百万、数千万张图片上学习通用视觉能力？”
二、具身智能缺少的是什么
机器人面对的问题完全不同。
假设要求机器人：
把桌上的杯子拿起来，然后放进柜子。
仅仅给机器人一张杯子的图片是不够的。
机器人真正需要学习的是：
观察环境
↓
找到杯子
↓
判断杯子的位置和姿态
↓
移动手臂
↓
调整手腕角度
↓
抓住杯子
↓
抬起
↓
移动到柜子
↓
调整位置
↓
释放
因此，对于具身智能而言，一个完整的数据样本更接近：
一个完整行为 Episode
而不是一张图片。
三、什么是 Human Demonstration
一个最典型的人类行为数据可以表示为：
Human Demonstration
│
┌──────────────┼──────────────┐
↓ ↓ ↓
视觉 动作 语言
│ │ │
第一视角视频 手部运动 任务描述
│ │ │
└──────────────┼──────────────┘
↓
行为 Episode
例如：
Task:
把杯子放进柜子
Environment:
厨房
Human:
操作人员 A
Observation:
第一视角视频
Action:
伸手 → 抓取 → 抬起 → 移动 → 放置
Language:
“把杯子放进柜子”
Result:
任务完成
这才是一个真正适合机器人学习的数据单元。
四、为什么一定需要第一视角数据
传统视频大多是第三视角：
摄像机
↓
┌─────────┐
│ 人 │
│ ↘ │
│ 手 │
└─────────┘
它可以观察“人做了什么”。
但机器人更关心的是：
如果我是这个人，在这个位置，我应该看到什么？
第一视角数据则更加接近机器人的感知方式：
人的头部
↓
┌───────┐
│ Camera│
└───┬───┘
↓
第一视角画面
↓
┌─────────┐
│ 物体 │
│ ↓ │
│ 手 │
└─────────┘
因此，头戴式摄像设备会成为一种非常自然的数据采集方式。
它记录的不是：
“这个人在厨房里。”
而是：
“这个人在厨房里时，他到底看到了什么，以及他接下来做了什么。”
五、真正的数据不是“视频”
这里有一个非常重要的区别。
如果简单理解：
人类第一视角数据 = 视频
其实是不够的。
未来更完整的数据应该是：
Human Episode
│
┌───────────────┼────────────────┐
↓ ↓ ↓
Video Audio Language
│ │ │
├───────────────┼────────────────┤
↓ ↓ ↓
IMU Eye Gaze Hand Pose
│ │ │
├───────────────┼────────────────┤
↓ ↓ ↓
Body Pose 3D Scene Object State
│ │ │
└───────────────┼────────────────┘
↓
Structured Episode
例如一个 Episode 可以包含：
| 数据 | 作用 |
|---|---|
| RGB 视频 | 观察环境 |
| 深度 | 获取空间关系 |
| 音频 | 理解声音和语言 |
| IMU | 获取头部/身体运动 |
| Eye Gaze | 判断人正在关注什么 |
| Hand Pose | 获取手部运动 |
| Body Pose | 获取人体动作 |
| 3D Scene | 理解空间结构 |
| Object State | 判断物体变化 |
| Language | 描述任务和动作 |
| Action | 描述具体行为 |
| Timestamp | 对齐多模态数据 |
因此：
具身智能的数据集，本质上应该从 Dataset 演化成 Data Infrastructure。
六、现在已经出现了哪些“雏形”
实际上，这个方向已经开始形成生态，只是还没有出现一个像 ImageNet 那样统一的平台。
6.1 Ego4D
Ego4D 是目前最有代表性的第一视角视频数据项目之一。
它收集了大量真实生活中的第一视角视频，并包含：
- 日常生活行为
- 第一视角视频
- 音频
- 眼动
- 3D 信息
- 多摄像机同步数据
- 行为相关标注
其目标并不是训练某一个具体机器人，而是让机器理解：
人在真实世界中是如何观察和行动的。
6.2 EPIC-KITCHENS
EPIC-KITCHENS 聚焦于厨房环境中的第一视角活动。
例如：
拿起杯子
打开冰箱
切菜
倒水
拿取食物
放置物品
这类数据非常有价值，因为它开始从：
“这是什么？”
转向：
“人是怎么操作它的？”
6.3 Ego-Exo4D
Ego-Exo4D进一步把：
第一视角
+
第三视角
+
多模态传感器
+
人体/手部姿态
+
3D信息
结合起来。
这种设计非常重要。
因为单独观察第一视角，很难知道：
“这个动作到底对应人体的哪个真实运动？”
第一视角和第三视角结合以后，可以建立：
人眼看到的世界
↓
人的身体动作
↓
空间中的真实运动
这对于后续的人类动作到机器人动作映射非常重要。
6.4 EgoVerse
EgoVerse则更加接近我们所讨论的：
Human Data for Robot Learning
它开始明确面向机器人学习组织人类数据。
其核心思路已经从：
收集人类视频
进一步发展为：
人类演示
↓
任务理解
↓
动作表示
↓
标准化
↓
机器人迁移
这已经非常接近未来“Embodied AI DataHub”的雏形。
七、为什么还没有出现真正的“Embodied ImageNet”
这是最值得思考的问题。
目前已经有很多数据集：
Ego4D
EPIC-KITCHENS
Ego-Exo4D
HoloAssist
EgoVerse
Open X-Embodiment
……
但为什么没有一个：
所有机器人都使用的统一人类行为数据平台？
原因并不是数据不够，而是数据标准远比图片复杂。
八、第一个问题：数据维度太多
ImageNet：
图片 + Label
具身数据：
Video
Audio
Depth
IMU
Eye Gaze
Hand Pose
Body Pose
3D Scene
Object State
Language
Action
Timestamp
Camera Calibration
Environment
Task
Robot Mapping
……
这意味着不能简单定义：
image_id
label
而需要定义：
episode_id
task
environment
person
camera
timestamp
observation
action
language
object
pose
sensor
annotation
license
provenance
九、第二个问题：机器人和人不是同一种“身体”
这是具身智能最核心的问题之一。
假设人类：
手
↓
┌───┐
│杯子│
└───┘
人有：
5根手指
灵活手腕
复杂关节
触觉
但机器人可能只有：
机械臂
↓
两指夹爪
因此：
Human Action
↓
抓取杯子
↓
Robot Action
并不是简单复制。
真正需要解决的是：
Cross-Embodiment Transfer
即：
不同身体形态之间，如何迁移同一种操作知识。
因此，未来的数据平台必须保存的不仅仅是：
人做了什么
还应该尽可能表达：
为什么这么做
以及：
这个动作背后的任务目标是什么
十、第三个问题：隐私和版权
如果收集的是互联网图片：
Image
↓
Dataset
问题已经很多。
如果收集的是：
真人
+
第一视角
+
工作场景
+
语音
+
办公室
+
家庭
+
客户
+
同事
问题会复杂得多。
一个真正可规模化的数据平台必须解决：
用户授权
↓
隐私保护
↓
人脸脱敏
↓
语音处理
↓
敏感信息过滤
↓
版权确认
↓
数据授权
↓
访问控制
因此：
Embodied AI 数据基础设施，本质上同时也是一个数据治理基础设施。
十一、未来的数据基本单位应该是什么
如果重新设计一个“ImageNet for Embodied AI”，我认为最核心的数据单位不应该叫：
Image
也不应该只是：
Video
而应该是：
Episode
一个 Episode 可以理解为：
一次完整的、有任务目标的人类行为过程。
例如：
Episode
│
├── Task
│ └── 把杯子放进柜子
│
├── Environment
│ └── Kitchen
│
├── Human
│ └── Person A
│
├── Observation
│ ├── RGB
│ ├── Depth
│ ├── Audio
│ └── Eye Gaze
│
├── Human Motion
│ ├── Hand Pose
│ └── Body Pose
│
├── Action
│ ├── Reach
│ ├── Grasp
│ ├── Move
│ └── Release
│
├── Objects
│ ├── Cup
│ └── Cabinet
│
├── Language
│ └── “把杯子放进柜子”
│
└── Result
└── Success
这才是一个完整的机器学习样本。
十二、未来的数据平台应该怎么设计
如果设计一个真正面向具身智能的数据平台，我认为可以分成五层。
┌───────────────────────────────────┐
│ Data Discovery │
│ 搜索 / 筛选 / 数据集管理 │
├───────────────────────────────────┤
│ Data Metadata │
│ Task / Object / Scene / Action │
├───────────────────────────────────┤
│ Multimodal Episode │
│ Video / Audio / Pose / IMU / 3D │
├───────────────────────────────────┤
│ Annotation & Quality │
│ 标注 / 质检 / 数据治理 │
├───────────────────────────────────┤
│ Robot Learning Dataset │
│ Human → Robot Alignment │
└───────────────────────────────────┘
最终用户甚至不应该只是在网站上：
下载一个 ZIP 文件。
而应该可以直接：
搜索任务
↓
选择数据
↓
筛选环境
↓
筛选动作
↓
筛选人体类型
↓
筛选传感器
↓
查看 Episode
↓
生成训练集
↓
直接进入训练
这时候它才真正成为一种AI数据基础设施。
十三、数据搜索方式也应该发生变化
传统数据集搜索：
cat
dog
car
未来具身数据搜索可能变成：
“抓取杯子”
然后进一步筛选：
Task:
抓取
Object:
Cup
Environment:
Kitchen
Action:
Grasp
View:
Egocentric
Hand:
Right hand
Skill:
Beginner
Result:
Successful
Robot:
Dexterous Hand
最终得到：
1,283 Episodes
然后模型可以直接使用这些 Episode 进行训练。
十四、数据应该形成三个层次
未来真正成熟的具身智能数据生态，我认为会形成三个主要数据层。
Internet Data
│
海量、低成本
│
↓
Human Demonstration
│
高质量行为数据
│
↓
Robot Data
│
真实机器人轨迹
│
↓
Embodied Model
第一层：Internet Data
来源：
YouTube
短视频
公开视频
教程
纪录片
网页视频
优点：
- 数据量巨大
- 场景丰富
- 成本低
缺点：
- 噪声大
- 标注少
- 第一视角不足
- 动作信息不完整
- 版权问题复杂
第二层：Human Demonstration
来源：
头戴式摄像机
智能眼镜
动作捕捉设备
手部传感器
专业人员采集
优点：
- 数据质量高
- 行为连续
- 第一视角
- 可以获得多模态信息
缺点：
- 成本高
- 隐私问题
- 规模化困难
第三层：Robot Data
最终还是要回到机器人。
机器人数据包含：
Camera
Joint State
End Effector
Gripper
Force
Tactile
Action
Reward
Success / Failure
它是最接近最终控制目标的数据。
因此：
人类数据和机器人数据不是二选一，而是上下游关系。
十五、人类数据和机器人数据到底是什么关系
可以简单理解为：
Human Data
│
│ “人类是怎么完成任务的？”
↓
Behavior Understanding
│
↓
Human → Robot Alignment
│
│ “机器人应该如何完成这个任务？”
↓
Robot Data
│
↓
Robot Policy
例如：
人：
拿杯子 → 移动 → 放下
↓
模型理解：
目标 = 将杯子从 A 移动到 B
↓
机器人：
机械臂运动 → 夹爪闭合 → 移动 → 夹爪打开
这就是：
Human Demonstration → Robot Policy
十六、未来真正重要的不是“多少小时视频”
这也是一个非常容易产生误解的地方。
如果有人说：
“我们采集了100万小时视频。”
这并不意味着一定拥有100万小时的有效机器人训练数据。
真正重要的是：
数据量
×
数据质量
×
任务覆盖
×
动作覆盖
×
场景多样性
×
标注质量
×
可迁移性
例如：
100万小时
↓
全部是走路视频
对于机器人抓取来说，价值可能非常有限。
而：
10万小时
↓
1000种任务
↓
10000种物体
↓
大量环境
↓
完整动作轨迹
可能更加有价值。
所以未来具身数据竞争的核心，很可能不是：
谁拥有最多视频。
而是：
谁拥有最多高价值的“行为经验”。
十七、最终可能形成一个“具身智能数据飞轮”
如果把整个产业串起来，可以得到一个非常有意思的闭环：
人类真实世界行为
│
↓
第一视角数据采集
│
↓
数据清洗与标注
│
↓
Human Demonstration
│
↓
Human → Robot Alignment
│
↓
Embodied Model
│
↓
Robot
│
↓
真实世界执行
│
┌─────┴─────┐
↓ ↓
成功 失败
│ │
└─────┬─────┘
↓
新数据
│
↓
训练
│
└────────→
这就是未来具身智能非常重要的：
Data Flywheel
十八、从 ImageNet 到 Embodied DataHub
因此，如果把整个演进过程放在一起看：
ImageNet
│
│ 解决视觉数据规模化
↓
Computer Vision
│
↓
互联网视频
│
↓
Human Demonstration
│
↓
Embodied Data
│
↓
Human → Robot Alignment
│
↓
Robot Data
│
↓
VLA / Embodied Foundation Model
│
↓
Physical AI
未来很可能会出现一种新的基础设施：
Embodied DataHub
它不一定真的叫这个名字，但其形态可能类似：
GitHub → 代码
Hugging Face → 模型 / 数据集
ImageNet → 视觉数据
Embodied Hub → 人类行为 / 机器人行为
甚至未来可能出现：
Task Marketplace
+
Human Demonstration Dataset
+
Robot Dataset
+
Simulation Dataset
+
Model Training
最终形成一个完整的具身智能数据生态。
十九、一个值得关注的变化
目前已经可以看到一个明显趋势：
早期大家关注的是：
机器人硬件。
然后开始关注：
机器人基础模型。
再往后会越来越关注：
机器人数据。
而再往后，真正的竞争可能变成：
谁拥有持续获得真实世界行为数据的能力。
因为模型可以迭代，算法可以复现，硬件也可以购买。
但：
真实世界中的行为经验，本身就是一种越来越重要的资产。
二十、结语
如果 ImageNet 的意义可以概括为：
让机器拥有了大规模学习视觉世界的基础。
那么具身智能时代需要解决的问题则是：
让机器拥有大规模学习人类行为和真实世界交互的基础。
这也是为什么近年来第一视角视频、人体动作、手部轨迹、多模态传感器、人类演示数据越来越受到重视。
未来可能不会只有一个“ImageNet for Embodied AI”。
更可能出现的是一个完整的数据生态：
互联网视频
↓
人类第一视角数据
↓
多模态行为数据
↓
人类行为数据集
↓
Human → Robot 数据转换
↓
机器人轨迹数据
↓
VLA / Embodied Foundation Model
↓
真实机器人
↓
继续采集数据
↺
所以，从这个角度看，“给人戴上设备采集行为”并不是一个孤立的数据采集动作，而可能是下一代具身智能数据基础设施的一部分。
真正值得关注的问题也许已经不是：
“为什么要采集这么多人的视频？”
而是：
“未来会不会出现一个像 ImageNet 一样，专门存储和组织全世界人类行为经验的数据基础设施？”
如果答案是肯定的，那么今天看到的第一视角数据采集，很可能只是这个基础设施建设的早期阶段。
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
1
0- 0
已为社区贡献5条内容
所有评论(0)