一、背景

很多研究数据会上传到Zenodo或Figshare平台,在国内从这些网站下载数据速度很慢。利用Google云的Colab下载到谷歌云盘后再下载到本地可以更快一些。

二、操作

(1)以GCTB数据(Zenodo平台)为例GCTB : a high-resolution global annual city and town boundaries dataset (1985-2022) derived from GLC_FCS30D land cover producthttps://zenodo.org/records/16418717

(2)在Google Colab中关联并挂载Google云端硬盘(需要准备一个Google账号)

https://drive.google.com/drive/u/1/home

# 挂载Google云端硬盘
from google.colab import drive
drive.mount('/content/drive')

当运行drive.mount('/content/drive')时,Colab会在虚拟机中创建一个挂载点,将Google云端硬盘挂载到这个目录。这样就可以像操作本地文件一样操作云端硬盘中的文件。

具体来说:

  • /content 是Colab运行时环境的根目录,它是一个临时环境,当运行时断开连接(或笔记本关闭)后,其中的文件(除了已保存到云端硬盘的)会丢失。

  • /content/drive 是挂载Google云端硬盘的目录,之后可以通过这个路径访问云端硬盘的所有文件。

(3)检查一下云盘存储空间,以防数据量超过存储空间

# 检查云盘硬盘可用空间
!df -h /content/drive/MyDrive

(4)在Colab的代码单元中,使用!wget!curl等命令行工具下载文件。

# -c:支持断点续传,网络不稳时至关重要
# --show-progress:显示下载进度条和时间估计
# -O:指定将文件保存到云端硬盘的根目录
!wget -c --show-progress -O "/content/drive/MyDrive/GCTB/Cities_2000_2022.rar" "https://zenodo.org/records/16418717/files/Towns_2000_2022.rar?download=1"

在这里用!wget下载

文件在云盘的保存地址(注意后缀要和下载文件格式一致):"/content/drive/MyDrive/GCTB/Cities_2000_2022.rar"

文件下载地址:"https://zenodo.org/records/16418717/files/Towns_2000_2022.rar?download=1"

文件下载地址在Download处右键复制链接即可

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐