llamafactory自定义数据列进行loss计算
·
在loss计算中，我们需要根据数据中的列进行计算，但发现这些列被移除了。解决方法如下：
dataset = dataset.map(
to_prompt,
num_proc=1,
remove_columns=["subject", "level", "unique_id"],
)
training_args.remove_unused_columns= False这里可以移除不需要的列，保留需要的列
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)