前言

之前试过很多方法从huggingface下载数据集都有问题,咨询学长学姐和老师之后成功下载数据集,具体方法如下


一、配置conda环境

这里使用的是python=3.10,其他版本python的没试过

conda create -n nlp python=3.10

激活环境

conda activate nlp

二、使用huggingface-cli下载数据集

安装依赖项

pip install -U huggingface_hub

临时设置环境变量

set HF_ENDPOINT=https://hf-mirror.com

使用huggingface-cli下载数据集,这里以AbstractTTS/IEMOCAP为例子,下载到本地D:/nlp/IEMOCAP

huggingface-cli download --repo-type dataset --resume-download AbstractTTS/IEMOCAP --local-dir "D:/nlp/IEMOCAP"

最后数据集应该就下载到了对应位置

不过我看了数据内容,感觉和我想要的格式不太一样欸,目前到这里了,之后再试试其他方法看能不能获得想要的格式


Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐