过拟合与欠拟合

在训练深层神经网络时，由于模型参数较多，在数据量不足时很容易过拟合。而正则化技术主要就是用于防止过拟合，提升模型的泛化能力(对新数据表现良好)和鲁棒性（对异常数据表现良好）。

1. 概念认知

这里我们简单的回顾下过拟合和欠拟合的基本概念~

1.1 过拟合

过拟合是指模型对训练数据拟合能力很强并表现很好，但在测试数据上表现较差。

过拟合常见原因有：

1. 数据量不足：当训练数据较少时，模型可能会过度学习数据中的噪声和细节。

2. 模型太复杂：如果模型很复杂，也会过度学习训练数据中的细节和噪声。

3. 正则化强度不足：如果正则化强度不足，可能会导致模型过度学习训练数据中的细节和噪声。

1.2 欠拟合

欠拟合是由于模型学习能力不足，无法充分捕捉数据中的复杂关系。

1.3 如何判断

那如何判断一个错误的结果是过拟合还是欠拟合呢？

过拟合

训练误差低，但验证时误差高。模型在训练数据上表现很好，但在验证数据上表现不佳，说明模型可能过度拟合了训练数据中的噪声或特定模式。

欠拟合

训练误差和测试误差都高。模型在训练数据和测试数据上的表现都不好，说明模型可能太简单，无法捕捉到数据中的复杂模式。

2. 解决欠拟合

欠拟合的解决思路比较直接：

1. 增加模型复杂度：引入更多的参数、增加神经网络的层数或节点数量，使模型能够捕捉到数据中的复杂模式。

2. 增加特征：通过特征工程添加更多有意义的特征，使模型能够更好地理解数据。

3. 减少正则化强度：适当减小 L1、L2 正则化强度，允许模型有更多自由度来拟合数据。

4. 训练更长时间：如果是因为训练不足导致的欠拟合，可以增加训练的轮数或时间.

3. 解决过拟合

避免模型参数过大是防止过拟合的关键步骤之一。

模型的复杂度主要由权重w决定，而不是偏置b。偏置只是对模型输出的平移，不会导致模型过度拟合数据。

3.1 L2正则化

L2 正则化通过在损失函数中添加权重参数的平方和来实现，目标是惩罚过大的参数值。

 

3.1.3 作用

1. 防止过拟合：当模型过于复杂、参数较多时，模型会倾向于记住训练数据中的噪声，导致过拟合。L2 正则化通过抑制参数的过大值，使得模型更加平滑，降低模型对训练数据噪声的敏感性。

2. 限制模型复杂度：L2 正则化项强制权重参数尽量接近 0，避免模型中某些参数过大，从而限制模型的复杂度。通过引入平方和项，L2 正则化鼓励模型的权重均匀分布，避免单个权重的值过大。

3. 提高模型的泛化能力：正则化项的存在使得模型在测试集上的表现更加稳健，避免在训练集上取得极高精度但在测试集上表现不佳。

4. 平滑权重分布：L2 正则化不会将权重直接变为 0，而是将权重值缩小。这样模型就更加平滑的拟合数据，同时保留足够的表达能力。

3.2 L1正则化

L1 正则化通过在损失函数中添加权重参数的绝对值之和来约束模型的复杂度。

3.2.3 作用

1. 稀疏性：L1 正则化的一个显著特性是它会促使许多权重参数变为 零。这是因为 L1 正则化倾向于将权重绝对值缩小到零，使得模型只保留对结果最重要的特征，而将其他不相关的特征权重设为零，从而实现 特征选择 的功能。

2. 防止过拟合：通过限制权重的绝对值，L1 正则化减少了模型的复杂度，使其不容易过拟合训练数据。相比于 L2 正则化，L1 正则化更倾向于将某些权重完全移除，而不是减小它们的值。

3. 简化模型：由于 L1 正则化会将一些权重变为零，因此模型最终会变得更加简单，仅依赖于少数重要特征。这对于高维度数据特别有用，尤其是在特征数量远多于样本数量的情况下。

4. 特征选择：因为 L1 正则化会将部分权重置零，因此它天然具有特征选择的能力，有助于自动筛选出对模型预测最重要的特征。

3.2.4 与L2对比

• L1 正则化 更适合用于产生稀疏模型，会让部分权重完全为零，适合做特征选择。

• L2 正则化 更适合平滑模型的参数，避免过大参数，但不会使权重变为零，适合处理高维特征较为密集的场景。

3.3 Dropout

Dropout 的工作流程如下：

1. 在每次训练迭代中，随机选择一部分神经元（通常以概率 p丢弃，比如 p=0.5）。

2. 被选中的神经元在当前迭代中不参与前向传播和反向传播。

3. 在测试阶段，所有神经元都参与计算，但需要对权重进行缩放（通常乘以 1−p），以保持输出的期望值一致。

Dropout 是一种在训练过程中随机丢弃部分神经元的技术。它通过减少神经元之间的依赖来防止模型过于复杂，从而避免过拟合。

基本实现

import torch
import torch.nn as nn


def dropout():
    dropout = nn.Dropout(p=0.5)
    x = torch.randint(0, 10, (5, 6), dtype=torch.float)
    print(x)
    # 开始dropout
    print(dropout(x))


if __name__ == "__main__":
    dropout()

3.4 数据增强

样本数量不足（即训练数据过少）是导致过拟合（Overfitting）的常见原因之一，可以从以下角度理解：

• 当训练数据过少时，模型容易“记住”有限的样本（包括噪声和无关细节），而非学习通用的规律。

• 简单模型更可能捕捉真实规律，但数据不足时，复杂模型会倾向于拟合训练集中的偶然性模式（噪声）。

• 样本不足时，训练集的分布可能与真实分布偏差较大，导致模型学到错误的规律。

• 小数据集中，个别样本的噪声（如标注错误、异常值）会被放大，模型可能将噪声误认为规律。

数据增强（Data Augmentation）是一种通过人工生成或修改训练数据来增加数据集多样性的技术，常用于解决过拟合问题。数据增强通过“模拟”更多训练数据，迫使模型学习泛化性更强的规律，而非训练集中的偶然性模式。其本质是一种低成本的正则化手段，尤其在数据稀缺时效果显著。

在了解计算机如何处理图像之前，需要先了解图像的构成元素。

图像是由像素点组成的，每个像素点的值范围为: [0, 255], 像素值越大意味着较亮。比如一张 200x200 的图像, 则是由 40000 个像素点组成, 如果每个像素点都是 0 的话, 意味着这是一张全黑的图像。

我们看到的彩色图一般都是多通道的图像, 所谓多通道可以理解为图像由多个不同的图像层叠加而成, 例如我们看到的彩色图像一般都是由 RGB 三个通道组成的，还有一些图像具有 RGBA 四个通道，最后一个通道为透明通道，该值越小，则图像越透明。

数据增强是提高模型泛化能力（鲁棒性）的一种有效方法，尤其在图像分类、目标检测等任务中。数据增强可以模拟更多的训练样本，从而减少过拟合风险。数据增强通过torchvision.transforms模块来实现。

数据增强的好处

大幅度降低数据采集和标注成本；

模型过拟合风险降低，提高模型泛化能力；

官方地址：

transforms：Transforming and augmenting images — Torchvision 0.21 documentation

transforms：

常用变换类

• transforms.Compose：将多个变换操作组合成一个流水线。

• transforms.ToTensor：将 PIL 图像或 NumPy 数组转换为 PyTorch 张量，将图像数据从 uint8 类型 (0-255) 转换为 float32 类型 (0.0-1.0)。

• transforms.Normalize：对张量进行标准化。

• transforms.Resize：调整图像大小。

• transforms.CenterCrop：从图像中心裁剪指定大小的区域。

• transforms.RandomCrop：随机裁剪图像。

• transforms.RandomHorizontalFlip：随机水平翻转图像。

• transforms.RandomVerticalFlip：随机垂直翻转图像。

• transforms.RandomRotation：随机旋转图像。

• transforms.ColorJitter：随机调整图像的亮度、对比度、饱和度和色调。

• transforms.RandomGrayscale：随机将图像转换为灰度图像。

• transforms.RandomResizedCrop：随机裁剪图像并调整大小。

 图片缩放

def test03():
    img1 = plt.imread('./img/100.jpg')
    plt.imshow(img1)
    plt.show()

    img = Image.open('./img/100.jpg')
    transform = transforms.Compose([transforms.Resize((224, 224)), transforms.ToTensor()])
    r_img = transform(img)
    print(r_img.shape)

    r_img = r_img.permute(1, 2, 0)

    plt.imshow(r_img)
    plt.show()

随机裁剪

img = Image.open('./img/100.jpg')
    transform = transforms.Compose([transforms.RandomCrop(size=(224, 224)), transforms.ToTensor()])
    r_img = transform(img)
    print(r_img.shape)

    r_img = r_img.permute(1, 2, 0)

    plt.imshow(r_img)
    plt.show()

 随机水平翻转

RandomHorizontalFlip(p)：随机水平翻转图像，参数p表示翻转概率（0 ≤ p ≤ 1），p=1 表示必定翻转，p=0 表示不翻转

img = Image.open('./img/100.jpg')
    transform = transforms.Compose([transforms.RandomHorizontalFlip(p=1), transforms.ToTensor()])
    r_img = transform(img)
    print(r_img.shape)

    r_img = r_img.permute(1, 2, 0)

    plt.imshow(r_img)
    plt.show()

 

早停

早停是一种在训练过程中监控模型在验证集上的表现，并在验证误差不再改善时停止训练的技术。这样可避免训练过度，防止模型过拟合。pytorch没有现成的API，需要自己写代码实现。

早停法的实现步骤

1. 将数据集分为训练集和验证集。

2. 在训练过程中，定期（例如每个 epoch）在验证集上评估模型的性能（如损失或准确率）。

3. 记录验证集的最佳性能（如最低损失或最高准确率）。

4. 如果验证集的性能在连续若干次评估中没有改善（即达到预设的“耐心值”），则停止训练。

5. 返回验证集性能最佳时的模型参数。

早停法的关键参数

1. 耐心值（Patience）：

   • 允许验证集性能不提升的连续次数。

   • 例如，如果耐心值为 5，则当验证集损失连续 5 次没有下降时，停止训练。

2. 最小改善值（Min Delta）：

   • 定义“性能提升”的最小阈值。

   • 例如，如果验证集损失的变化小于该值，则认为性能没有提升。

3. 恢复最佳权重（Restore Best Weights）：

   • 是否在早停时恢复验证集性能最佳时的模型权重。