从京东员工佩戴黑色采集器说起：AI开始学习人类是怎么干活的

高世之智

280人浏览 · 2026-09-10 10:53:19

高世之智 · 2026-09-10 10:53:19 发布

最近看到一张很有意思的图片。
在这里插入图片描述

图片里，几位京东员工都佩戴着一个黑色的头戴式设备。有的人正在清洁，有的人正在维修，有的人正在操作设备，还有人在办公室里处理日常工作。

乍一看，很容易产生一种“赛博朋克已经进入现实”的感觉。

有人将这件事情描述为：

京东正在让员工佩戴黑色采集器，记录员工的动作和行为过程，并计划让更多不同职业的人参与数据采集。

如果只从“员工佩戴摄像头”这个角度看，这件事情似乎只是一个数据采集项目。

但如果把它放到今天的 AI 发展方向里，就会发现事情远没有这么简单。

京东真正想采集的，很可能不是“员工做了什么”的普通视频，而是人类如何在真实物理世界中完成任务的数据。

换句话说：

AI已经不满足于学习人类说什么、写什么、画什么，现在开始学习人类是怎么干活的。

这背后对应的技术方向，就是最近非常火的——具身智能（Embodied AI）。

一、为什么机器人突然开始“缺数据”了？

过去几年，大模型的发展路线其实非常清晰。

GPT、Claude、Gemini等模型，本质上都在不断扩大训练数据规模。

数据主要来自：

网页
书籍
代码
图片
视频
对话
人类反馈

模型学习的是：

人类如何表达知识。

因此，大语言模型面对一个问题：

用户提出问题
      ↓
模型理解语言
      ↓
模型生成语言

但机器人完全不是这么回事。

假设现在给机器人一个任务：

把桌上的杯子拿起来，然后放进水池。

这时候机器人需要解决的问题就变成了：

我在哪里？
      ↓
桌子在哪里？
      ↓
杯子在哪里？
      ↓
杯子的姿态是什么？
      ↓
我的手应该怎么移动？
      ↓
应该从什么角度抓？
      ↓
需要多大的力量？
      ↓
抓住以后怎么移动？
      ↓
什么时候松手？

这已经不是单纯的语言问题。

这是一个典型的：

感知 → 理解 → 决策 → 动作 → 环境反馈

问题。

因此，机器人需要的训练数据也发生了变化。

二、机器人需要的不是“图片”，而是“人类怎么做事情”

这是理解这件事情最关键的一点。

假设有一张照片：

一个人正在擦桌子。

对于传统视觉模型来说，这张图片可以用于训练：

图片
 ↓
识别
 ↓
这是一个人
 ↓
这个人在擦桌子

但是对于机器人来说，这远远不够。

机器人真正想知道的是：

人的眼睛看到了什么？

手在哪里？

手臂是怎么运动的？

手和桌面的距离是多少？

手腕是什么角度？

抹布是什么位置？

什么时候开始移动？

什么时候改变方向？

施加了多大的力量？

完成一次擦拭之后下一步做什么？

所以真正有价值的数据应该更接近：

                人类操作
                    │
        ┌───────────┼───────────┐
        ↓           ↓           ↓
      视觉         动作        姿态
        ↓           ↓           ↓
      视频       手部轨迹     身体关键点
        │           │           │
        └───────────┼───────────┘
                    ↓
               多模态行为数据

京东公开披露的信息也显示，其具身智能数据采集正在从第一视角视频进一步扩展到手部姿态、力触觉、身体关键点等多模态信息。京东还公开了自研的 JoyEgoCam 采集设备以及 JoyAI-RA 具身模型。(具身智能博客)

所以，那些黑色设备的真正价值，并不是简单地“拍视频”。

更准确地说：

它们是在把人的真实操作过程数字化。

三、京东为什么要让这么多人参与？

这里就涉及具身智能领域目前非常现实的一个问题：

数据荒漠

过去训练机器人，很多数据来自：

实验室
仿真环境
遥操作
少量机器人真机采集

这些数据当然有价值，但存在一个问题：

真实世界太复杂了。

一个机器人在实验室里学会：

拿起一个红色马克杯。

并不意味着它在真实家庭里就能拿起：

玻璃杯
保温杯
塑料杯
透明杯
有水的杯子
有把手的杯子
被其他物体挡住的杯子

更不用说：

厨房
办公室
商场
仓库
工厂
医院
家庭
餐厅
户外

每一个环境都存在大量变化。

因此，具身智能需要的不是单一场景数据，而是：

足够丰富的人类真实世界行为数据。

京东在2026年公布的规划中提出，两年内积累超过1000万小时人类真实场景数据，并同步采集机器人本体数据；数据场景覆盖物流仓储、工业制造、家庭服务、医疗健康、城市运维等方向。公开信息显示，京东计划发动内部超过10万名员工以及更多外部人员参与数据采集。

这个规模非常重要。

因为对于机器人来说：

一个人做一次动作，是一个样本；成千上万人在不同环境里重复做这个动作，才开始具有泛化意义。

四、那这些数据最终拿来训练什么？

答案不是传统意义上的 CNN。

也不是简单训练一个“识别图片”的模型。

现在具身智能领域非常重要的一类模型叫：

VLA

即：

Vision-Language-Action Model

可以简单理解成：

Vision
视觉
  +
Language
语言
  ↓
模型
  ↓
Action
动作

例如：

用户：
把桌上的杯子放进水池。

        ↓

摄像头看到：
桌子 + 杯子 + 水池

        ↓

      VLA模型

        ↓

预测机器人动作

        ↓

机械臂移动
        ↓
调整手腕
        ↓
抓取杯子
        ↓
移动
        ↓
放入水池

这和 ChatGPT 有一个非常直观的区别。

ChatGPT 更接近：

文字
 ↓
模型
 ↓
文字

而具身智能更接近：

视觉 + 语言 + 世界状态
          ↓
      具身模型
          ↓
        动作
          ↓
     物理世界变化
          ↓
       新状态

京东目前公开的 JoyAI-RA 就属于这一方向，其官方研究页面将其描述为面向开放世界机器人自主性的 VLA 具身基础模型，并强调统一动作空间、多源数据和跨机器人形态的数据迁移。(research.joyai.com)

五、但是问题来了：人类视频怎么变成机器人训练数据？

这才是整个事情最有技术含量的地方。

不可能把：

“员工擦桌子的1000小时视频”

直接扔给模型，然后告诉模型：

学会擦桌子。

中间需要一个非常复杂的数据工程体系。

整体过程可以理解成：

             人类真实操作
                    │
                    ↓
            数据采集设备
                    │
                    ↓
        ┌────────────────────┐
        │ 原始多模态数据      │
        │                    │
        │ 视频 / 音频         │
        │ 手部动作           │
        │ 身体姿态           │
        │ 空间轨迹           │
        │ 力/触觉            │
        └─────────┬──────────┘
                  ↓
               数据清洗
                  ↓
               数据切片
                  ↓
               数据标注
                  ↓
               数据质检
                  ↓
             训练数据集
                  ↓
              模型训练
                  ↓
            机器人验证
                  ↓
              失败分析
                  ↓
             数据再次采集
                  │
                  └──────────→ 再训练

京东公开介绍的具身智能数据基础设施，本身就是围绕“采、存、标、训、评、仿、测”形成完整链路。(具身智能博客)

这意味着：

真正的竞争可能已经不只是模型竞争，而是数据基础设施竞争。

六、举一个最简单的例子：机器人学习“拿杯子”

假设一个员工正在拿杯子。

采集设备可能记录：

t0

视觉：
桌面上存在一个杯子

人体：
人的手位于身体右侧

↓

t1

手向杯子移动

↓

t2

手指逐渐张开

↓

t3

手指接触杯子

↓

t4

手指闭合

↓

t5

杯子离开桌面

↓

t6

手向目标位置移动

↓

t7

杯子被放下

↓

t8

手指释放

如果把这些信息进一步结构化，可以形成类似：

Observation：

桌面
杯子
手
目标位置

        ↓

Action：

Move
Reach
Grasp
Lift
Move
Release

于是训练数据就从：

“一个人在拿杯子的视频”

变成：

“在某种视觉环境和任务目标下，人类采取了一系列动作。”

这才是机器人真正需要学习的东西。

七、这背后有一个非常重要的技术：模仿学习

机器人学习人类动作，有一个经典方向叫：

Imitation Learning，模仿学习。

最简单的一种思路叫：

Behavior Cloning，行为克隆。

可以把它理解成人类给机器人“做示范”。

例如：

输入：

当前环境
+
任务

↓

人类示范：

向前移动
伸手
抓取
抬起
移动
释放

模型不断学习：

当前状态
    ↓
应该采取什么动作？

最终形成：

Observation
      ↓
    Model
      ↓
    Action

例如：

看到杯子
    ↓
预测手部运动
    ↓
预测抓取动作
    ↓
预测移动轨迹
    ↓
预测释放动作

这就是为什么真实人类操作数据如此重要。

八、但仅仅“模仿人类”还不够

这里又会出现一个非常有意思的问题。

假设一个人拿杯子的动作是：

人的手
 ↓
手指
 ↓
手腕
 ↓
手臂

但是机器人可能是：

机械臂
 ↓
六自由度关节
 ↓
机械手

甚至不同机器人的结构都不同。

例如：

机器人A
机械臂 + 两指夹爪

机器人B
机械臂 + 灵巧手

机器人C
双臂 + 灵巧手

机器人D
人形机器人

那么：

人的动作怎么转换成机器人的动作？

这就是具身智能里面一个非常重要的问题：

人机对齐

京东公开信息也明确提到正在做“人机对齐”算法，把人类手部动作与不同灵巧手、夹爪以及机器人本体数据进行对齐，使人类采集的数据能够被机器人学习和使用。(Citmt)

可以简单理解为：

            人类
             │
       人类动作数据
             │
             ↓
       人机对齐算法
             │
       ┌─────┼─────┐
       ↓     ↓     ↓
    机器人A 机器人B 机器人C
       ↓     ↓     ↓
     不同本体执行

这其实比单纯训练一个视觉模型复杂得多。

九、为什么还需要机器人自己的数据？

到这里可以发现：

只采集人类数据其实还不够。

因为最终真正执行任务的是机器人。

因此还需要：

人类数据
+
机器人数据

两者结合。

人类数据解决：

“这个事情应该怎么做？”

机器人数据解决：

“我的身体应该怎么做？”

于是整个训练体系逐渐变成：

京东公开规划中也提到，在采集超过1000万小时人类真实场景数据的同时，还计划积累约100万小时机器人本体数据。(Shenzhen News)

十、为什么京东特别适合做这件事情？

这里其实就能理解京东为什么会进入这个领域。

京东最大的优势可能并不是：

“我能训练一个比别人更大的模型。”

而是：

我拥有大量真实的物理世界场景。

例如：

京东物流
    ↓
仓库
    ↓
分拣
    ↓
搬运
    ↓
配送

还有：

京东商场
    ↓
商品
    ↓
货架
    ↓
导购
    ↓
用户交互

以及：

家庭
办公室
餐厅
医疗
工业
城市运维

这些全部都是机器人未来需要面对的真实世界。

所以京东拥有一个非常特殊的优势：

真实场景。

而真实场景恰恰是当前具身智能最缺的东西。

十一、这其实和自动驾驶的发展非常像

如果把时间拉长一点看，会发现一个非常有意思的规律。

自动驾驶早期非常依赖：

规则
+
人工编写逻辑
+
地图
+
传感器

后来逐渐转向：

大量真实道路数据
        ↓
数据训练
        ↓
端到端模型
        ↓
真实道路验证
        ↓
继续采集数据
        ↓
继续训练

具身智能现在也正在走类似的路线：

人类真实行为
        ↓
大规模采集
        ↓
具身模型
        ↓
机器人执行
        ↓
失败/成功数据
        ↓
再次训练

最终形成一个闭环：

数据飞轮

          真实世界
             │
             ↓
        人类行为数据
             │
             ↓
         数据处理
             │
             ↓
         具身模型
             │
             ↓
          机器人
             │
             ↓
        真实世界执行
             │
             ↓
        新的机器人数据
             │
             └──────────→ 模型迭代

模型越强：

机器人能够完成更多任务。

机器人完成更多任务：

能产生更多数据。

数据越多：

模型进一步变强。

最终形成：

数据 → 模型 → 机器人 → 数据

的正反馈循环。

十二、所以真正值钱的可能不是“1000万小时视频”

这里需要特别强调一个问题。

1000万小时并不等于1000万小时有效训练数据。

如果简单理解：

1000万小时视频
=
超级强大的模型

那就太简单了。

真正重要的是：

数据量
×
数据质量
×
数据多样性
×
动作有效性
×
标注质量
×
场景覆盖
×
机器人可用性

例如：

1000小时的人类重复走路数据，

可能还不如：

100小时高质量的复杂操作数据。

真正重要的是：

机器人从这些数据里究竟学到了什么。

京东公开信息也提到，JoyAI-RA 的测试中，随着高质量第一视角视觉数据从1000小时增加到5000小时、10000小时，任务和未知任务的泛化表现持续提升。(Citmt)

这说明一个非常重要的趋势：

具身智能开始进入“数据规模化 + 数据质量化”的阶段。

十三、从工程角度看，未来可能形成这样的技术架构

如果把整个系统抽象成一个软件工程架构，大概可以理解为：

┌─────────────────────────────────────────────┐
│                 真实世界                    │
│                                             │
│ 家庭 / 工厂 / 仓库 / 商场 / 医疗 / 办公室 │
└──────────────────┬──────────────────────────┘
                   │
                   ↓
┌─────────────────────────────────────────────┐
│                数据采集层                   │
│                                             │
│ 第一视角视频 / 手部姿态 / IMU / 力触觉     │
│ 身体关键点 / 空间轨迹 / 环境信息            │
└──────────────────┬──────────────────────────┘
                   │
                   ↓
┌─────────────────────────────────────────────┐
│                数据平台层                   │
│                                             │
│ 数据上传 → 清洗 → 切片 → 标注 → 质检       │
│ 数据管理 → 数据集构建 → 数据版本管理        │
└──────────────────┬──────────────────────────┘
                   │
                   ↓
┌─────────────────────────────────────────────┐
│                模型训练层                   │
│                                             │
│ VLM / VLA / Behavior Cloning / RL           │
│ World Model / Diffusion Policy              │
└──────────────────┬──────────────────────────┘
                   │
                   ↓
┌─────────────────────────────────────────────┐
│                机器人层                     │
│                                             │
│ 人形机器人 / 机械臂 / 灵巧手 / 移动机器人   │
└──────────────────┬──────────────────────────┘
                   │
                   ↓
┌─────────────────────────────────────────────┐
│                真实世界                     │
│                                             │
│ 成功 / 失败 / 异常 / 新环境 / 新任务        │
└──────────────────┬──────────────────────────┘
                   │
                   └────────────→ 新数据

这已经不是单纯的一个 AI 模型项目。

它更像是一套：

“真实世界数据 → 数据基础设施 → 基础模型 → 机器人 → 真实世界”的完整产业链。

十四、这也是为什么“黑色采集器”背后的意义远大于一个摄像头

回到最开始那张照片。

一个人戴着黑色设备：

看起来：
一个摄像头

但是从技术角度看：

所以它真正记录的不是：

“这个员工今天干了什么。”

而是：

“一个人类在真实世界中，是如何完成一个任务的。”

这两句话看起来非常接近，但对于 AI 来说，完全是两件事情。

十五、从 ChatGPT 到机器人，AI正在经历什么变化？

如果把 AI 的发展简单地划分一下，可以看到一个非常有意思的变化。

第一阶段：让机器理解文字

Language
   ↓
LLM
   ↓
Text

解决的是：

机器怎么理解人类语言？

第二阶段：让机器理解世界

Text
+
Image
+
Audio
+
Video
      ↓
Multimodal Model

解决的是：

机器怎么理解现实世界的信息？

第三阶段：让机器进入世界

Vision
+
Language
+
World State
      ↓
Embodied Model
      ↓
Action
      ↓
Physical World

解决的是：

机器怎么在现实世界中行动？

而我们现在看到的这些头戴式采集设备，实际上就是第三阶段非常重要的一环。

十六、未来真正重要的可能是“物理世界的数据”

过去十几年，互联网最大的价值之一，是把人类的知识数字化。

于是产生了：

网页
搜索
社交网络
电商
短视频
代码
数字内容

这些数据最终成为今天大模型的重要训练材料。

但物理世界一直没有被完整数字化。

一个人：

拿杯子。

一个人：

擦桌子。

一个人：

修机器。

一个人：

缝衣服。

一个人：

做饭。

一个人：

搬货。

这些行为一直存在于现实世界，却很难规模化地变成机器可以学习的数据。

而具身智能真正要解决的问题，就是：

把物理世界中的行为，也变成机器可以理解和学习的数据。

所以从这个角度看：

今天的头戴式采集设备，可能就类似于十几年前互联网时代的“数据入口”。

十七、最后再回头看那张照片

最开始看到这张照片，第一反应可能是：

“京东为什么让员工戴摄像头？”

但如果理解具身智能之后，再看这张照片，问题就完全变了。

真正应该问的是：

这些人在给机器人教什么？

保洁人员教机器人：

怎么清洁
怎么拿工具
怎么避开障碍
怎么处理不同材质

维修人员教机器人：

怎么使用工具
怎么拆装
怎么判断位置
怎么进行精细操作

仓库人员教机器人：

怎么拣货
怎么搬运
怎么分拣
怎么处理不同物体

家庭人员教机器人：

怎么整理
怎么收纳
怎么做家务
怎么和真实家庭环境交互

最终，这些数据进入具身模型。

模型再进入机器人。

机器人再进入真实世界。

然后机器人继续产生新的数据。

这时候，真正的闭环才形成：

              人类
               │
               │ 示范
               ↓
          ┌──────────┐
          │ 人类数据  │
          └────┬─────┘
               ↓
          ┌──────────┐
          │ 具身模型  │
          └────┬─────┘
               ↓
          ┌──────────┐
          │ 机器人    │
          └────┬─────┘
               ↓
           真实世界
               │
               │ 执行
               ↓
          新的行为数据
               │
               └──────────→ 模型继续进化

这可能才是这次新闻真正值得关注的地方。