深度学习训练时GPU利用率忽高忽低问题
·
gpu利用率经常在0-99%之间跳动，找了一圈原因，可能是以下几点：
1. 数据预处理：CPU预处理太长，GPU空闲跟不上
解决办法：
可能是读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。
数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。
适当调整dataloader读数据的线程数 pin_memory=4/8。
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)