（1)报错

exceptions.DatasetGenerationError: An error occurred while generating the dataset

# 降级到一个更稳定的版本
pip install datasets==2.1.0

（2）从huggingface上下载数据集

from datasets import load_dataset
import os
import shutil


# 清除缓存
cache_dir = "./path/dir"
if os.path.exists(cache_dir):
    shutil.rmtree(cache_dir)


dataset = load_dataset("florianhoenicke/medical-1000-64-16-jinaai_jina-embeddings-v2-small-en-1000-gpt-3.5-tur_9062874564",
                       split="train",   #下载数据集 train部分
                       download_mode="force_redownload",
                       cache_dir = './path/dir',  #缓存目录
                       #verification_mode="no_checks"
                       )
dataset.save_to_disk("./train")  #保存到train目录

（3）把数据集另存外json格式

from datasets import load_from_disk

# 加载保存的数据集
dataset = load_from_disk("./path/train")

print(f"数据集加载成功: {len(dataset)} 条样本")
print(f"特征: {dataset.features}")

# 保存为单个JSON文件
dataset.to_json("./新建数据集名称.json")
print(f"包含 {len(dataset)} 条样本")