huggingface模型/数据集下载

在部署RDT的过程中，需要用到rdt-1b、google/t5-v1_1-xxl、google/siglip-so400m-patch14-384等模型或者官方微调数据集rdt-ft-data等数据集。在服务器上下载遇到网络连接超时等问题，找到一些解决办法，在这里先记录一下。如果有小伙伴也在进行相关项目，有什么进展或者问题都欢迎大家和我交流学习。

本文同步发布至wx公众号：基德DDD（VLA模型RDT部署——前置工作——超全的各种下载huggingface模型/数据集的方法总结）

modelscope魔塔

模型库首页 · 魔搭社区

不需要梯子的方法，但是可能存在没有对应的模型情况。对于RDT项目，modelscope上没有rdt-1b，不过有google/t5-v1_1-xxl、google/siglip-so400m-patch14-384等模型。

modelscope的模型/数据库界面，点击右侧的“下载模型”即可有详细下载方式介绍。

pip install modelscope
modelscope download --model google/t5-v1_1-xxl

modelscope download --model #所需模型/数据库

如果文件不是很大，也可以通过git下载。

git lfs install
git clone https://www.modelscope.cn/google/siglip-so400m-patch14-384.git

由于modelscope可能下载的包括pytorch框架的（pytorch_model.bin）和tensorflow框架的（tf_model.h5），然而并不是都需要的。对于RDT项目，使用的pytorch框架的即可。可以通过下列方式进行过滤。我用的是这个：

python -c "
from modelscope import snapshot_download
model_dir = snapshot_download('google/t5-v1_1-xxl', 
                              ignore_file_pattern=['*tf_model*', '*.h5'])
print('下载完成:', model_dir)
"

或者modelscope提供的过滤指定文件指令（以Qwen2-7B为例子）。

    modelscope download --model 'Qwen/Qwen2-7b' --exclude '*.safetensors'

hf-mirror.com

不需要梯子的方法，将模型/数据集huggingface网址的huggingface.co改为hf-morror.com，使用镜像下载。不过文件太大的话也可能下载不完整。

git clone https://hf-mirror.com/google/siglip-so400m-patch14-384

git clone #所需模型的/数据集的hf-mirror网址

本地下载传给服务器

坚持要用huggingface下载的话，还可以本地下载完再传给服务器。

scp -r 源文件路径 用户名@IP:目标路径 

如果数据集太大，只想下载一部分，也可以在huggingface网址页面左上部分的“Files and versions”中选择性下载。（以RDT官方微调数据集rdt-ft-data为例）

huggingface官方

最直接的当然是服务器上能够直接通过huggingface进行下载。

git clone https://huggingface.co/robotics-diffusion-transformer/rdt-1b

   git clone #所需模型/数据集的huggingface网址

后续

近期还会把RDT后续的部署过程更新一下，还包括使用ATE（Align-Then-stEer，GitHub - TeleHuman/Align-Then-Steer: Official Implementation of "Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance".）对RDT的微调进行引导等内容。

本文如果有什么表述或理解错误还望大佬们指正。