1. 优先用「平台预置的数据集镜像」(最快,无需额外下载)

AutoDL 已对常用数据集(如 COCO、ImageNet)做了本地镜像缓存,可直接通过命令快速拉取(无需从官网下载):

# 以COCO 2017为例,直接从AutoDL数据集镜像下载(速度可达50-100MB/s)
wget https://mirror.auto-dataset.com/coco/train2017.zip
wget https://mirror.auto-dataset.com/coco/val2017.zip
wget https://mirror.auto-dataset.com/coco/annotations_trainval2017.zip

优势:直接走平台内网带宽,速度远超公网下载,且无需担心官网限速。

2. 用「公网网盘直传」(适合自定义 / 小众数据集)

若数据集在百度网盘、夸克网盘等,可通过 AutoDL 的「AutoPanel→公网网盘」功能直接下载到实例:

  1. 打开实例的 AutoPanel(快捷工具列)→ 进入「公网网盘」;
  2. 授权绑定你的网盘(如百度网盘),直接选择网盘中的数据集文件下载;
  3. 下载路径默认是/root/autodl-tmp(数据盘,空间充足)。

优势:避开本地→实例的公网传输,速度稳定在 5-20MB/s(会员网盘更快)。

3. 用「国内镜像源 + 多线程工具」(适合 HuggingFace 等数据集)

对于 HuggingFace、ModelScope 等平台的数据集,用国内镜像 +huggingface-cli/axel加速:

# 方法1:HuggingFace数据集用hf-mirror镜像(速度提升3-5倍)
huggingface-cli download \
  --token "你的HF Token" \
  --repo-type dataset \
  --resume-download \
  --local-dir "/root/autodl-tmp/dataset" \
  "用户名/数据集名" \
  --endpoint https://hf-mirror.com

# 方法2:用axel多线程下载(拆分文件并行拉取)
axel -n 16 https://xxx.com/dataset.zip  # -n 后接线程数,最多16线程
4. 「本地压缩包→网页拖拽上传」(适合小数据集)

若数据集在本地,先压缩为zip/tar.gz,直接拖拽到 AutoDL 的 JupyterLab 网页端,平台会自动解压到/root/autodl-tmp,速度可达 10-30MB/s。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐