Huggingface的parquet数据 转 json文件
·
import pyarrow.parquet as pq
# 读取Parquet文件
table = pq.read_table('train-00000-of-00001-2ea3039ca4da89f8.parquet')
import pandas as pd
# 将Parquet数据转换为DataFrame
df = table.to_pandas()
# 将DataFrame转换为JSON格式
json_data = df.to_json(orient='records', lines=True)
# 将JSON数据写入文件
with open('data.json', 'w') as f:
f.write(json_data)
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)