公开机器人数据集体检报告 — RDA v0.5.2 实测
我们用 RDA 对 11 个公开 LeRobot 格式数据集、共 4,909 条 episode 做了完整审计——覆盖仿真与真机、脚本与人工遥操作、科研机械臂和百元级爱好者硬件。结果汇总:
|
数据集 |
类型 |
集数 |
判定 P / R / E |
动作尖峰 |
空闲中位数 |
空闲 p5 |
|
aloha_sim_insertion_human |
仿真·人工 |
50 |
5 / 45 / 0 |
1,338(100% 集) |
70.7% |
65.1% |
|
aloha_sim_transfer_cube_scripted |
仿真·脚本 |
50 |
5 / 45 / 0 |
2,489(100% 集) |
64.0% |
44.2% |
|
aloha_sim_insertion_scripted |
仿真·脚本 |
50 |
1 / 49 / 0 |
1,633(100% 集) |
63.7% |
53.7% |
|
droid_100 |
真机 Franka |
100 |
34 / 66 / 0 |
1,428(99% 集) |
70.7% |
55.7% |
|
pusht |
仿真 |
206 |
43 / 163 / 0 |
1,148(97% 集) |
81.7% |
59.5% |
|
HuggingFaceVLA/libero |
仿真 |
1,693 |
0 / 3 / 1,690 |
34(3 集) |
76.5%(3 集) |
74.6% |
|
bridge_orig_lerobot(抽样) |
真机 WidowX |
25 |
4 / 21 / 0 |
91(84% 集) |
93.3% |
20.5% |
|
xarm_lift_medium |
真机 xArm |
800 |
767 / 33 / 0 |
6(1% 集) |
20.8% |
12.5% |
|
xarm_push_medium |
真机 xArm |
800 |
238 / 562 / 0 |
845(62% 集) |
83.3% |
16.7% |
|
svla_so101_pickplace |
真机 SO-100 |
50 |
5 / 45 / 0 |
260(100% 集) |
86.7% |
59.5% |
|
jaco_play |
真机 Jaco |
1,085 |
390 / 695 / 0 |
11,958(77% 集) |
74.1% |
52.7% |
说明:所有数据集的完整性层(NaN/Inf、时间戳合法性、丢帧、schema)全部干净。libero 的 1,690/1,693 集读到 0 帧——是数据集本身的 meta/布局不匹配问题,RDA 会标记 EXCLUDE 而不是静默通过(这类问题不测根本发现不了)。bridge 为抽样 25 集,其余 10 个全量审计。aloha_sim_transfer_cube_human 现在是受限仓库拉不下来,用的是 v0.5.1 时的实测值:1/49/0、1,535 尖峰、71.2% 空闲。
训练之前值得知道的五个模式
1. 空闲率中位数从 20.8% 到 93.3%,11 个里有 8 个超过 65%。 在一个 75% 帧都在"发呆"的分布上训练,损失函数会结构性偏向预测"什么都不做"——除非你做加权或课程学习。Bridge 数据更是冲到 93%。这个数应该在烧 GPU 之前测,不是烧完之后。
2. 同一款机器人、同一个实验室,空闲率差 4 倍。 xarm_lift_medium:空闲 20.8%,767/800 集直接 PASS。xarm_push_medium:空闲 83.3%,562/800 集待复核。平台一样,差别只在任务难度(抓起 vs 推平物)。高空闲不一定是 bug,它是你必须知道并设计进去的任务属性——RDA 两边都会如实报告,不会为了制造焦虑逢数据必报。
3. 动作尖峰跟的是控制器,不是数据集的名气。 仿真 ALOHA 和 SO-100 爱好者设备在 100% 的集里都有大幅动作跳变;xArm lift 数据 800 集总共只有 6 个尖峰。如果你的策略用了平滑正则,或者要做 sim-to-real 的动作统计对齐,这个数字直接决定你的训练方案。
4. "完整性干净" ≠ "训练数据好"。 11 个数据集完整性层全部通过——零 NaN、零时间戳倒流、零丢帧。但行为层仍在多数数据集里给 45%–98% 的集打出了待复核(REVIEW)。两层都得查,而大多数流水线两层都没查。
5. 最便宜的硬件产出最贵的数据。 社区 SO-100 抓放数据集:空闲中位数 86.7%,外加每集都有动作尖峰。如果你在用爱好者上传的数据做微调,这就是你继承到的起点。
复现
pip install robot-data-audit rda audit <任意 lerobot 数据集> -v rda recommend <数据集> --policy temporal # 或 frame-wise;--lang en 出英文报告
工具:GitHub - liesliy/rda: Robot Data Audit (RDA) - Quality auditing + optimization recommendations for robot manipulation datasets (LeRobot format) · GitHub · PyPI:robot-data-audit · 可视化界面:rda ui(中英文切换)
免责声明:RDA 标记的是统计异常,不是真值错误。REVIEW 的意思是"训练前先看一眼",不是"扔掉"。所有阈值都欢迎来 issue 讨论。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)