深度学习模型训练问题记录之梯度爆炸
在改变dropout值和增加归一化层之后，问题没有得到有效解决，但是加入模型参数初始化之后，问题得到了有效解决。最有用的可能是权重参数初始化，也足以看到初始化的重要性。模型训练的过程中损失值很大，且反复震荡不下降。
·
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)