手动下载huggingface数据集到本地加载
但是经常会报连接错误等问题,所以我们可以去huggingface官网下载好数据集,然后直接用数据集路径替换。的数据,手动将data文件夹下的文件全部下载,然后保存在本地一个文件夹中,替换上述的。
·
需要使用huggingface上的数据集时一般如下加载:
import datasets
dataset = datasets.load_dataset("dataset_name")
但是经常会报连接错误等问题,所以我们可以去huggingface官网下载好数据集,然后直接用数据集路径替换dataset_name
即可。
例如:
我们需要下载mbpp+
的数据,手动将data文件夹下的文件全部下载,然后保存在本地一个文件夹中,替换上述的dataset_name
即可。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)