深度学习基础——正则化和优化

无意识积累中

1467人浏览 · 2019-08-02 21:03:16

无意识积累中 · 2019-08-02 21:03:16 发布

正则化

正则化

所有损害优化的方法都是正则化

提高神经网络泛化能力

L1和L2正则化
提前终止
Dropout
数据增强

L1, L2正则化

w一范数的加和: 会起到产生更加稀疏解的作用

导数为2W, 正则化就是将权重按照其大小比例缩减, 使权重更加接近原点

提前终止, Dropout, 数据增强

提前终止	我们使用验证集来测试每一次迭代的参数在验证集上是否最优. 如果验证集上的错误率不再下降, 就停止迭代
Dropout	对一个神经层y=f(Wx+b), 引入一个丢弃函数d(.)使得y=f(Wd(x)+b) M{0,1}是丢弃掩码, 通过以概率为p的伯努利分布随机生成
	意义	这使得隐层单元都不能依赖于其他隐层单元集成学习的解释: 每做一次丢弃, 相当于从原始网格中采样得到一个子网络, 也就是可以达到多个网络集成学习的效果
数据增强	对图像进行转变引入, 引入噪声等方法来增加数据多样性方法: 旋转, 翻转, 缩放, 平移, 加噪声

高维空间凸优化问题

网络优化难点

结构差异大: 没有通用的优化算法
非凸优化问题:

(1)参数初始化

(2)逃离局部最优化

鞍点,

平摊底部

可视化神经网络的损失函数

优化算法: 批量, 学习率, 梯度方向优化

批量	批越小, 效果下降越明显
学习率	学习率衰减 Adagrad Adadelta RMSprop
梯度方向优化	动量法: 用之前积累动量来替代真正的梯度, 每次迭代的梯度可以看作是加速度
	Nesterov加速梯度:
	梯度截断:将梯度的模限定在一个区间, 当梯度的模小于或大于区间时就进行阶段 (1)按值截断: (2)按模截断:
Adam	动量法+RMSprop

归一化

归一化方法

批量归一化, 层归一化, 权重归一化, 局部响应归一化

批量归一化计算

L层净输入z, 神经元输入a

均值和方差

结果

超参数优化

超参数	层数, 每层神经元个数, 激活函数, 学习率, 正则化系数, mini-batch大小
优化方法	网格搜索, 随机搜索, 贝叶斯优化, 动态资源分配, 神经架构搜索
网格搜索	假设总共有K个超参数, 第k个超参数可以取M个值如果参数是连续的, 可以将参数离散化, 选择几个”经验”值这些超参数可以有m1m2m3...m4个取值组合

一.正则化与正规化

正则化是正规化更加学术的表达（顾名思义，给模型加入某些规则，来达到某些目的。在机器学习和深度学习中是为了防止过拟合）

二.过拟合的解决思路

获取更多样本
丢弃一部分特征，增强模型的容错能力（如PCA降维，Dropout机制）
保留所有特征，但减少参数的大小。确保所有特征对于预测都有一定贡献，而不是”偏爱“几种特征。

三 .L2正则化（权重衰减：weight decay 即是正则化项前面的系数, 用来调节正则化项的大小）

公式： $Cost(w)=Cost(w)+\lambda \sum \omega _i^{2}$ (即：原本的损失函数 + 惩罚项（正则化系数 × 各系数平方的和）)
简单例子说明：

假设：只有两个参数， $\omega _1\omega _2$ 。

惩罚项：一个圆 $\omega _1^{2}+\omega _2^{2}<=C$ （下图，红色圆圈。cost等值线。）

原本的损失函数：一个椭圆（可能） $Cost=f(x_1,x_2,\omega _1,\omega _2)$ （下图，蓝色圆圈。正则项等值线。）

原本的损失函数：黑色的线（梯度下降）

正则化后的损失函数：绿色的线（受正则化项约束）

四.L1正则化

公式： $Cost(\omega )=Cost(\omega )+\lambda \sum |\omega _i|$
简单的例子：（似上面）

假设：只有两个参数

正则化约束： $|\omega _1|+|\omega _2|<=C$ (一个正方形)

l1_regularization = torch.nn.L1Loss(reduction= sum )
loss = ...  # Standard cross-entropy loss
for param in model.parameters():
    loss += torch.sum(torch.abs(param))
loss.backward()