问题描述

模型训练的过程中损失值很大，且反复震荡不下降

解决方法

  1. 给模型都加参数初始化，权重参数使用 kaiming_uniform_，偏置参数使用0初始化
  2. 调大dropout率
  3. 给模型中间层增加BatchNorm/LayerNorm

结果

在改变dropout值和增加归一化层之后，问题没有得到有效解决，但是加入模型参数初始化之后，问题得到了有效解决

结论

最有用的可能是权重参数初始化，也足以看到初始化的重要性

# 深度学习 # 人工智能
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

Zabbix

目录权限没问题，文件权限不对，为什么会有root创建的日志文件呢因为之前执行了一个校验配置文件的命令就是这条/usr/local/zabbix/sbin/zabbix_agent2 -c /usr/local/zabbix/etc/zabbix_agent2.conf。Zabbix 是企业级开源分布式监控软件，由Alexei Vladishev开发，采用Server/Client架构，用来监控服务

avatar DAMO开发者矩阵
cover

周日书房深度大扫除：除毛机器人与猫咪的周日领地战

avatar DAMO开发者矩阵
cover

代码 Review 机器人与规范自动化检测

avatar DAMO开发者矩阵