机器人数据集质量检查，断网环境也能跑了
·
训练前想检查一下机器人数据集的质量，结果发现一个尴尬的问题：
大多数检查工具要么要求你把数据传到别人服务器，要么本地跑一半还要联网调 API。可真实场景是——机器人数据经常躺在内网的采集机上，标注公司的环境根本不出网。工具跑不了，只能靠人肉翻数据。
其实要检查的问题并不复杂：有没有空 episode？有没有 NaN？时间戳是不是乱序？有没有连续几百帧一模一样的"冻结帧"？这些坏数据混进训练集，模型就是在学垃圾。
RDA 做的事情就一件：一条命令，扫完给你一份报告，每个问题都标清楚在哪一集。
```
pip install robot-data-audit
rda audit ./你的数据集
```
昨天的 0.5.5 版本补上了最后一块：断网环境下优化建议也能本地生成，不依赖任何服务器。
不吹替代人工，只帮你把"人眼逐集翻 200 集数据"这件事变成 2 秒钟。
GitHub: https://github.com/liesliy/rda
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
0
0- 0
已为社区贡献11条内容
所有评论(0)