深度学习训练过程中loss变化情况
可以看到虽然还没学习多少,但是我的val_loss已经开始出现了震荡的情况。但总体趋势还是在下降说明还有学习的空间。loss和val_loss的变化趋势反映的情况如下,可供参考:loss下降,val_loss下降:训练网络正常,最好情况。loss下降,val_loss稳定:网络过拟合化,可以使用正则化和Max pooling。loss稳定,val_loss下降:数据集有严重问题,建议重新选择。lo
·
可以看到虽然还没学习多少,但是我的val_loss已经开始出现了震荡的情况。但总体趋势还是在下降说明还有学习的空间。
loss和val_loss的变化趋势反映的情况如下,可供参考:
loss下降,val_loss下降:训练网络正常,最好情况。
loss下降,val_loss稳定:网络过拟合化,可以使用正则化和Max pooling。
loss稳定,val_loss下降:数据集有严重问题,建议重新选择。
loss稳定,val_loss稳定:学习过程遇到瓶颈,需要减小学习率或批量数目,可以减少学习率。
loss上升,val_loss上升:网络结构设计问题,训练超参数设置不当,数据集经过清洗等问题,最差情况

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)