cnn减小过拟合,减小泛化误差(测试误差),提高泛化能力的方法

1、数据增强,过少数据导致欠拟合,过少数据和复杂的网络结构导致过拟合。
2、正则化策略,引入参数惩罚项,如l1范数和l2范数。
3、引入dropout,随机失活神经元,简化网络结构,也属于正则化策略。
4、使用BN算法(Batch Normalnization),使数据变成(0~1)的正态分布,用了这步可不用dropout。
5、提前终止训练。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐