1.前言

前面已经推导过线性回归和逻辑斯特回归的梯度下降算法。

• 线性回归的梯度下降算法：https://zhuanlan.zhihu.com/p/108625608
• 逻辑斯特回归的梯度下降算法：https://zhuanlan.zhihu.com/p/109045510

它们各自的梯度下降算法公式为：

• 线性回归：
• 逻辑斯特回归：
  其中
  为sigmoid函数

2.过拟合问题及其解决方法

如上图，左图展示了一个拟合曲线不能很好的拟合数据，这个现象被称为“欠拟合问题（underfitting）”；而最右图虽然能够很好的拟合数据，但是曲线过于复杂，当需要预测新数据时，可能会有偏差，这时候被称为“过拟合问题（overfitting）”

2.1 拟合问题中偏差和方差

• 偏差和方差 评价数据拟合程度好坏，通常用代价函数
  。如果只关注
  (训练集误差)的话，通常会导致过拟合，因此还需要关注
  (交叉验证集误差)。
• 高偏差：
  和
  都很大，并且
  。对应欠拟合。
• 高方差：
  较小，
  远大于
  。对应过拟合。

如何理解高偏差和高方差?

（1）高偏差对应着欠拟合，此时

也较大，可以理解为对任何新数据（不论其是否属于训练集），都有着较大的

误差，偏离真实预测较大。

（2）高方差对应着过拟合，此时

很小，对于新数据来说，如果其属性与训练集类似，它的

就会小些，如果属性与训练集不同，

就会很大，因此有一个比较大的波动，因此说是高方差。

就像打靶一样，偏差描述了我们的射击总体是否偏离了我们的目标，而方差描述了射击准不准。

对于 多项式回归，当次数选取较低时，我们的 训练集误差 和 交叉验证集误差 都会很大；当次数选择刚好时，训练集误差 和 交叉验证集误差 都很小；当次数过大时会产生过拟合，虽然 训练集误差 很小，但 交叉验证集误差 会很大（ 关系图如下 ）。

所以我们可以计算

和

，如果他们同时很大的话，就是遇到了高偏差问题，而

比

大很多的话，则是遇到了高方差问题。

2.2 正则化（regulization）

正则化主要是用来解决过拟合问题。

右图因为比左图增加了两个参数

和

，所以造成了过拟合现象。而如果我们在最小化代价函数

的时候，也同时把

和

缩小到近乎等于0，这时候就可以变为左图的曲线，从而解决过拟合问题。

实际上，最小化公式可以变为：

这个公式在最小化代价函数的时候，也使得

和

缩小到近乎等于0。

因为我们不知道哪个参数对模型有效果，所以可以把整体的参数都进行缩小，借鉴公式（2-1）可以把代价函数改写成：

• 其中
  是用来平衡“
  原始代价函数的值”和“参数和”之间的关系。

2.3 线性回归的正则化

根据公式(2-2)，当使用梯度下降算法更新参数

时，

对

求偏导数还是和原来的一样，而

对

求偏导数：

• 其中2可以融合到
  中.

最后公式(1-1)更新为：

2.4 逻辑斯特回归的正则化

同理，逻辑斯特回归加上正则项后，公式(1-2)更新为：