这方面免费且有用的教程真的少啊,看了一大堆教程和官方文档总结出来的,当然直接看官方文档也是极好的:

首先用git clone是会报连接不上服务器错误的,pass掉

用Huggingface-cli!

下数据集

步骤:

前期步骤(windows):

1.win+r,在弹出的窗口输入cmd,进入cmd窗口

2.输入盘符加:进入你想操作的盘

3.cd到具体的路径

例如:PS C:\Users\用户名> H:
PS H:\> cd .\drivingdojo\
PS H:\drivingdojo>

下面正式开始!!!

1.安装,在cmd窗口里输入:

pip install -U huggingface_hub

输完以后最下面写successfully installed什么什么

(然后别的教程又输入了H:\drivingdojo>$env:HF_ENDPOINT = "https://hf-mirror.com"
但是报错:文件名、目录名或卷标语法不正确。)

2.检查安装好没有

huggingface-cli --help

安好了下面就会有一堆信息显示

3.开始登录账号

huggingface-cli login

弹出来一堆话,最下面是让你输入你的token

4.去Huggingface官网获取token

  • 进入 Hugging Face 个人访问令牌页面
  • 登录账号后,点击"New token" 按钮创建一个新的访问令牌
  • 将该令牌复制下来

5.复制上面的令牌到刚刚的cmd里,弹出一句话,输入y(此处科学上网)

6.查看是否登录好账号

huggingface-cli whoami

6.下载你想要的数据集(注意这里没有指定下载位置,需要指定的话直接看下一条)

huggingface-cli download Yuqi1997/DrivingDojo --repo-type dataset

 把Yuqi1997/DrivingDojo改成你想要的数据集就行

也就是官网数据集的这里的名称:

注意:到这里有个问题,windows这样操作默认下载到这个路径C:\Users\Username\.cache\huggingface\hub\(官网说:默认情况下,所有文件都将下载到环境变量定义的缓存目录中)

要怎么改路径呢?这样:

7.把下面代码里的./path/to/cache改成你想要的路径,这里的.是指当前目录

huggingface-cli download Yuqi1997/DrivingDojo --cache-dir ./path/to/cache

(使用6我已经成功下载了一部分数据集,在使用7的时候网断了。。。执行下一步就接着下载了)

8.如果下载的时候中断了,那么就输入以下代码重新开始下载,这样会接着之前的下载:

huggingface-cli download --repo-type dataset --token [你的token] --resume-download [数据集名称] --cache-dir [/本地路径] --local-dir-use-symlinks False

下模型

和下数据集的1-7步都一样,把第8步中的dataset改成model。即:打开终端,然后输入:

huggingface-cli download --repo-type model --token [你的token] --resume-download [数据集名称] --cache-dir [/本地路径] --local-dir-use-symlinks False

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐