AutoDL 下载数据集的最快方法
·
1. 优先用「平台预置的数据集镜像」(最快,无需额外下载)
AutoDL 已对常用数据集(如 COCO、ImageNet)做了本地镜像缓存,可直接通过命令快速拉取(无需从官网下载):
# 以COCO 2017为例,直接从AutoDL数据集镜像下载(速度可达50-100MB/s)
wget https://mirror.auto-dataset.com/coco/train2017.zip
wget https://mirror.auto-dataset.com/coco/val2017.zip
wget https://mirror.auto-dataset.com/coco/annotations_trainval2017.zip
优势:直接走平台内网带宽,速度远超公网下载,且无需担心官网限速。
2. 用「公网网盘直传」(适合自定义 / 小众数据集)
若数据集在百度网盘、夸克网盘等,可通过 AutoDL 的「AutoPanel→公网网盘」功能直接下载到实例:
- 打开实例的 AutoPanel(快捷工具列)→ 进入「公网网盘」;
- 授权绑定你的网盘(如百度网盘),直接选择网盘中的数据集文件下载;
- 下载路径默认是
/root/autodl-tmp(数据盘,空间充足)。
优势:避开本地→实例的公网传输,速度稳定在 5-20MB/s(会员网盘更快)。
3. 用「国内镜像源 + 多线程工具」(适合 HuggingFace 等数据集)
对于 HuggingFace、ModelScope 等平台的数据集,用国内镜像 +huggingface-cli/axel加速:
# 方法1:HuggingFace数据集用hf-mirror镜像(速度提升3-5倍)
huggingface-cli download \
--token "你的HF Token" \
--repo-type dataset \
--resume-download \
--local-dir "/root/autodl-tmp/dataset" \
"用户名/数据集名" \
--endpoint https://hf-mirror.com
# 方法2:用axel多线程下载(拆分文件并行拉取)
axel -n 16 https://xxx.com/dataset.zip # -n 后接线程数,最多16线程
4. 「本地压缩包→网页拖拽上传」(适合小数据集)
若数据集在本地,先压缩为zip/tar.gz,直接拖拽到 AutoDL 的 JupyterLab 网页端,平台会自动解压到/root/autodl-tmp,速度可达 10-30MB/s。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)