使用 gsutil 下载 google cloud 数据集 下载 waymo 数据集
根据文档下载对应软件包,安装 Google Cloud CLI (不要使用apt安装的方式,容易报错)
https://cloud.google.com/sdk/docs/install?hl=zh-cn#linux

根据提示进行安装,安装完成以后重启控制台,进行初始化
gcloud init
之后会跳转到浏览器进行 google 账号登录,登录成功后即可使用。
之后便可以同时下载多个文件,此外就算下载单个文件也建议使用 gsutil,因为 gstuil 还有一个好处就是可以自动断点重传,不像浏览器那样需要重新下载。


注意!!!!!
如果某 clash 软件在下载时会崩溃,请不要使用 gsutil 默认参数,多线程下载,或者多个任务同时下载非常容易崩溃:
-m 参数在 gsutil 中用于启用并行处理模式
要把这个默认的参数删掉,使用下面这个参数配置:
gsutil -o "GSUtil:parallel_process_count=1" -o "GSUtil:sliced_object_download_max_components=1" cp -r \
"gs://waymo_open_dataset_v_1_2_0/validation/ground_truth_objects" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0003.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0004.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0005.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0006.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0007.tar" \
.
上面两个参数:
parallel_process_count=1:限制并行下载的进程数为 1。sliced_object_download_max_components=1:限制下载时分片的数量为 1。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)