1.监督学习

数据集中的每个样本都有相应的“正确答案”，再根据这些样本作出预测

2.无监督学习

数据集中没有任何的标签/有相同的标签，将数据分为不同的簇

3.单变量线性回归

3.1 模型表示

只含有一个特征/输入变量：$h_{\theta }(x)={\theta }_0+{\theta }_1(x)$

3.2 代价函数

选择的参数决定了直线相对于训练集的准确程度，模型所预测的值与训练集中实际值之间的差距(下图中蓝线所指)是建模误差

目标便是选择出可以使得建模误差的平方和能够最小的模型参数，即使得下面代价函数最小：

​ $J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

3.2.1 直观理解

将${\theta }_0$置为0的情况：

不将${\theta }_0$置为0的情况：右图是代价函数的等高线图

3.3 梯度下降

在3.2中是通过人工的方式去观察代价函数值最小时，参数对应的值。当参数越来越复杂时肯定通过观察得到结果，所以使用梯度下降

3.3.1 思想

1. 开始时随机选择一个参数的组合，计算代价函数，
2. 寻找下一个能让代价函数值下降最多的参数组合
3. 持续这么做直到到到一个局部最小值(选择不同的初始参数组合，可能会找到不同的局部最小值)

3.3.2 批量梯度下降

批量：在梯度下降的每一步中，用到了所有的训练样本(即计算的所有训练样本构成的$J(\theta )$值)

重复执行下面公式直至收敛：需要同时更新${\theta }_0$和${\theta }_1$

​ ${\theta }_j:={\theta }_j-\alpha \frac{d}{d_{\theta }}J({\theta }_0,{\theta }_1)$

3.3.3 直观理解

在红色点处，梯度$\frac{d}{d_{\theta }}J({\theta }_0,{\theta }_1)$方向是朝左下角(即为正数)，所以${\theta }_1$在不断减小，$J(\theta )$的值也在不断减小

为什么$\alpha$可以不用改变也能收敛到局部最低点?因为当红色点在不断移动时,梯度大小也在不断减小

3.4 线性回归的梯度下降

对之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：

​ $\frac{d}{d_{{\theta }_j}}J({\theta }_0,{\theta }_1)=\frac{d}{d_{{\theta }_j}}\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

​ $j=0,\frac{d}{d_{{\theta }_0}}J({\theta }_0,{\theta }_1)=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$

​ $j=1,\frac{d}{d_{{\theta }_1}}J({\theta }_0,{\theta }_1)=\frac{1}{m}{\sum }_{i=1}^m((h_{\theta }(x^{(i)})-y^{(i))}\cdot x^{(i)})$

线性回归的$J(\theta )$图像是一个凸函数图像，这种图像没有局部最优点，只有全局最优点：

下面图像不是凸函数图像，会陷入到局部最优点上：

4.参考

https://www.bilibili.com/video/BV164411b7dx?p=3-11

http://www.ai-start.com/ml2014/html/week1.html