简要介绍

为什么机器人公司需要数据平台

传统企业数据平台主要处理：

• ERP
• CRM
• 日志
• BI 数据

但机器人数据平台不同，它的数据特点包括：

• 多模态（RGB、深度、状态、动作、文本）
• 强时序关系
• 视频占数据量绝大多数
• 数据集需要版本管理
• AI 训练与推理需要高吞吐

核心目标：

采集 → 处理 → 存储 → 数据集 → 训练 → 部署 → 监控

---

整体架构

机器人设备层
│
├─ Jetson
├─ ROS2
├─ Camera
├─ RealSense
│
↓
数据采集层
│
├─ LeRobot Recorder
├─ Kafka
│
↓
数据存储层
│
├─ MinIO
├─ PostgreSQL
│
↓
数据处理层
│
├─ Flink
├─ Airflow
│
↓
训练层
│
├─ GPU集群
├─ LeRobot Training
├─ MLflow
│
↓
服务层
│
├─ API
├─ Dashboard
├─ Superset
│
↓
部署层
│
└─ Kubernetes

---

各组件角色

Kafka：数据高速传送带

Kafka 本质上是消息流平台。

作用：

• 实时数据入口
• 解耦系统
• 数据缓冲
• 消息重放
• 实时事件通知

机器人场景：

Jetson
   ↓
Kafka
   ├─ LeRobot
   ├─ Dashboard
   ├─ 实时监控
   └─ 数据清洗

注意：

不要把视频直接放进 Kafka。

推荐：

视频文件
    ↓
MinIO

Kafka
    ↓
保存路径和元数据

---

Flink：实时数据处理引擎

如果 Kafka 是传送带：

Flink 就是站在传送带旁边工作的工人。

主要职责：

• 时间同步
• 去重
• 数据清洗
• 异常检测
• 实时统计
• 多流 Join

机器人例子：

Camera Topic
Joint Topic
Lidar Topic
      ↓
Flink
      ↓
统一时间对齐
      ↓
LeRobot Dataset

---

MinIO：对象存储仓库

存储：

• 视频
• 图片
• ROS Bag
• Parquet
• 数据集
• 模型文件

建议目录：

raw/
processed/
dataset/
model/
metadata/

---

Airflow：工作流调度中心

Airflow 不负责数据计算。

负责：

• 谁先执行
• 谁后执行
• 定时任务
• 自动重试

机器人流程：

上传数据
   ↓
数据校验
   ↓
清洗
   ↓
LeRobot转换
   ↓
注册数据集
   ↓
训练
   ↓
评估

---

MLflow：模型生命周期管理

解决问题：

“哪个模型效果最好？”

记录：

• 参数
• 指标
• 数据集版本
• 模型文件

示例：

dataset: robot_pick_v3
policy: ACT
learning_rate: 0.0005

success_rate:94%

支持：

• Experiment Tracking
• Model Registry
• Artifact管理
• 部署

---

Superset：数据可视化中心

作用：

• Dashboard
• 数据分析
• 实时监控

机器人常见大盘：

在线机器人数量

采集成功率

设备温度

FPS

训练成功率

---

Kubernetes（K8s）：平台操作系统

K8s 管理：

• CPU
• GPU
• 内存
• 网络
• 容器

机器人平台中的作用：

Airflow
     ↓
K8s Job
     ↓
GPU节点
     ↓
LeRobot训练

能力：

• 自动调度
• 自动恢复
• 自动扩缩容

---

各组件关系

Jetson + ROS2
      ↓
Kafka
      ↓
Flink
      ↓
MinIO / PostgreSQL
      ↓
Airflow
      ↓
LeRobot Training
      ↓
MLflow
      ↓
K8s部署
      ↓
Superset展示

---

总结

一句话概括：

• Kafka：数据怎么流
• Flink：数据怎么处理
• MinIO：数据放哪里
• Airflow：任务什么时候执行
• MLflow：模型怎么管理
• K8s：资源怎么分配
• Superset：数据怎么展示

对于约 200 人规模机器人团队：

第一阶段：

Docker + MinIO + Airflow + 单机GPU

第二阶段：

Kafka + Flink + MLflow

第三阶段：

Kubernetes + GPU集群

不要一开始就建设超大平台，而是随着数据规模和团队规模逐步演进。