如何从huggingface下载数据集到本地
·
前言
之前试过很多方法从huggingface下载数据集都有问题,咨询学长学姐和老师之后成功下载数据集,具体方法如下
一、配置conda环境
这里使用的是python=3.10,其他版本python的没试过
conda create -n nlp python=3.10
激活环境
conda activate nlp
二、使用huggingface-cli下载数据集
安装依赖项
pip install -U huggingface_hub
临时设置环境变量
set HF_ENDPOINT=https://hf-mirror.com
使用huggingface-cli下载数据集,这里以AbstractTTS/IEMOCAP为例子,下载到本地D:/nlp/IEMOCAP
huggingface-cli download --repo-type dataset --resume-download AbstractTTS/IEMOCAP --local-dir "D:/nlp/IEMOCAP"

最后数据集应该就下载到了对应位置

不过我看了数据内容,感觉和我想要的格式不太一样欸,目前到这里了,之后再试试其他方法看能不能获得想要的格式
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)