1. Logistic 回归模型

广义上的线性回归为：
$$f(x)=g^{-1}(\omega x^T+b)$$
其中g称为联系函数（应为连续函数且充分光滑），例如$ln$等。
当进行分类问题，线性回归产生的模型预测值为$z=\omega x^T+b$为实值，而y的取值为 { 0 , 1 } \{0,1\} {0,1}，这是需要寻找一个联系函数使得z值转化为0/1值。

单位阶跃函数:
$$y=\{\begin{array}{cc}0& z<0\\ 0.5& z=0\\ 1& z>0\end{array}$$
该函数能够进行上述的转化，但是由于其不连续，所以不能作为联系函数。

于是这里引入对数几率函数（一种sigmoid函数），实现这样该转化过程。

logistic分布：设X连续随机变量符合logistic分布，则X的分布函数与密度函数为：
$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+e^{-x}} \\ f(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2} \end{gathered}$$

logistic函数分布曲线为S曲线（sigmoid curve），且为凸函数（这点在数值优化中很重要），可以将z转化为接近0或1的y值，并且在z=0附近的变化速度块。
带入广义的线性函数模型中，由此得到函数
$$\begin{gathered} y=\frac{1}{1+e^{-(\omega x^T+b)}} \\ \ln \frac{y}{1-y}=\omega x^T+b \end{gathered}$$
这里定义几率（odds): 模型分类后，样本x被分为正例（如y=1）的个数与样本x被分为反例(如y=0)的个数之比。
$$odds=\frac{y}{1-y}$$
对数几率为几率的对数。
$$logit=\ln \frac{y}{1-y}$$
这里可以发现，对数几率与随机变量x为线性关系。
当用条件概率去理解该模型时，则可以得到二分logistic模型：
$$\begin{gathered} P(Y=1|x)=\frac{e^{\omega x^T+b}}{1+e^{(\omega x^T+b)}} \\ P(Y=0|x)=\frac{1}{1+e^{(\omega x^T+b)}} \end{gathered}$$
由此可见该函数特点：线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0

2. 模型参数估计

在估计$\omega ,b$参数的过程中，应用极大似然估计法
这里令$\omega =({\omega }^{(1)},{\omega }^{(2)},...,w^{(n)},b)$

所以最终问题转化为了求
$${\omega }^{\ast }=\arg \underset{\omega }{\max }L(\omega )$$
因为$L(\omega )$是关于$\omega$的高阶可导连续函数，根据凸优化理论，经典的数值优化算法如梯度下降法，改进的迭代尺度法（IIS），牛顿法，拟牛顿法都可以求其解。

2.1 梯度下降法求参

梯度下降法是一种常用的一阶优化方法，是求解无约束优化问题最简单，最简单的方法之一。

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 取初值$w^{(0)}\in {\mathbb{R}}^n,k=0$。
3. 计算$L(w^{(k)})$。
4. 计算梯度$g_k=g(w^{(k)})$，若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$；否则，令$p_k=-g(w^{(k)})$，求步长${\lambda }_k$使得：
   $$L(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda ⩾0}{\min }L(w^{(k)}+\lambda p_k)$$
5. 令$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$，计算$L(w^{(k+1)})$。
   若：
   $$||L(w^{(k+1)})-L(w^{(k)})||<ϵor||w^{(k+1)}-w^{(k)}||<ϵ$$
   则停止迭代，令$w^{\ast }=w^{(k+1)}$。
6. 否则，$k=k+1$，转（3）。
   因为目标函数为凸函数，因此可以保证其为全局最优解。
   
   缺点：该方法的收敛速度有时较慢。

2.2 牛顿法求参

牛顿法也是求解无约束最优化问题的常用算法，（因为利用了二阶导）有收敛速度快的优点。通过迭代，每一步需要求解目标函数的黑塞矩阵的逆矩阵，进行求参。

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 取初值$w^{(0)}\in {\mathbb{R}}^n,k=0$。
3. 计算梯度$g_k=g(w^{(k)})$
4. 若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$。
5. 计算黑塞矩阵$H_k=H(x^{(k)})$,并求出$pk$:
   $$p_k=-H_k{g}_k$$

黑塞矩阵：
$$H(x)=[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}{]}_{n\ast n}$$
函数f(x)有机制的必要条件是在极值点处的一阶导数为0，即梯度为0，特别是当$H(x^{(k)})$为正定矩阵时，函数f(x)的极值为极小值。

6. 令$w^{(k+1)}=w^{(k)}+p_k$。
7. 令$k=k+1$，转（3）。

缺点：在步骤（5）中由于要求$H^{-1}$计算复杂，耗费时间。

2.3 拟牛顿法求参

为了解决计算$H^{-1}$的复杂问题，考虑用一个n阶矩阵$G_k=G(x^{(k)})$来近似代替$H_k^{-1}=H^{-1}(x^{(k)})$.

2.3.1 算法DFP

该算法通过$G_{k+1}$替代$H^{-1}$，即满足拟牛顿条件：
$$G_{k+1}(g_{k+1}-g_k)=x^{(k+1)}-x^{(k)}$$

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 选定初始点$w^{(0)}$,取$G_0$为正定对称矩阵，置k=0。
3. 计算梯度$g_k=g(w^{(k)})$，若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$，否认进行下一步。
4. 令$p_k=-G_k{g}_k$。
5. 一维搜索，求${\lambda }_k$s使得：
   $$L(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda ⩾0}{\min }L(w^{(k)}+\lambda p_k)$$
6. 令$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
7. 计算梯度$g_{k+1}=g(w^{(k+1)})$,若$||g_{k+1}||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k+1)}$，否则计算$G_{k+1}$。
   $$\begin{gathered} {\delta }_k=x^{(k+1)}-x^{(k)} \\ {y}_k=g_{k+1}-g_k \\ {G}_{k+1}=G_k+\frac{{\delta }_k{\delta }_k^T}{{\delta }_k^T{y}_k}-\frac{G_k{y}_k{y}_k^T{G}_k}{y_k^T{G}_k{y}_k} \end{gathered}$$
8. 令k = k+1, 转到（4）

2.3.2 算法BFGS

该算法通过矩阵$B_{k+1}$代替黑塞矩阵$H_k$,即满足拟牛顿条件：
$$g_{k+1}-g_k=B_{k+1}(x^{(k+1)}-x^{(k)})$$

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 选定初始点$w^{(0)}$,取$B_0$为正定对称矩阵，置k=0。
3. 计算梯度$g_k=g(w^{(k)})$，若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$，否认进行下一步。
4. 令$B_k{p}_k=-g_k$，求出$p_k$。
5. 一维搜索，求${\lambda }_k$s使得：
   $$L(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda ⩾0}{\min }L(w^{(k)}+\lambda p_k)$$
6. 令$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
7. 计算梯度$g_{k+1}=g(w^{(k+1)})$,若$||g_{k+1}||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k+1)}$，否则计算$B_{k+1}$。
   $$\begin{gathered} {\delta }_k=x^{(k+1)}-x^{(k)} \\ {y}_k=g_{k+1}-g_k \\ {B}_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k} \end{gathered}$$
8. 令k = k+1, 转到（4）

3. 最大熵模型

3.1 原理

在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。或者说是在满足约束条件的模型集合中选取熵最大的模型。

依据最大熵原理，在没有获取充足的模型约束情况下。一个好的方法便是在满足已有约束的条件下，对未知情况的抉择使用均匀分布去代替，也就是选择一个熵最大（信息量最大，不确定性最大，最混乱）的模型。这就是最大熵模型的思想，可以分解为两步。一、根据已有约束条件，得出所有满足约束的概率模型。二、在得到的模型中选择一个熵最大的模型作为最优模型。

$$\begin{gathered} P(X=x_i)=p_{i}i=1,2,....n \\ H(X)=-\sum _{i=1}^n{p}_i\log p_i \\ 0⩽H(X)⩽log|X| \end{gathered}$$
$H(X)$即为随机变量X的熵，|X|为X的取值个数，当且仅当X的分布是均匀分布时右边的等号成立。

3.2 模型

假设满足所有约束条件的模型集合为： C ≡ { P ∈ Ω ∣ E p ( f i ) = E p ~ ( f i ) ,   i = 1 , 2 , . . . , n } C\equiv \{ P\in \Omega| E_p(f_i)=E_{\tilde{p}}(f_i),\ i = 1,2,...,n\} C≡{P∈Ω∣Ep​(fi​)=Ep~​​(fi​), i=1,2,...,n} 定义在条件概率分布P(Y|X)上的条件熵：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$
则模型集合C中条件熵最大的模型称为最大熵模型。

上式中，f为特征函数，描述输入x与输出y之间的某一个事实。（通过观察可以得到多种特征函数）
$$f(x,y)=\{\begin{array}{cc}1& x,y满足某约束\\ 0& 否则\end{array}$$
特征函数关于经验分布$\tilde{P}(X,Y)$的期望：
$$E_{\tilde{p}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
特征函数关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望:
$$E_p(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

特征函数的理解：
例如：take在英文中有很多意思，但是往往后面有bus等交通工具时翻译为乘坐。这是我们通过样本观察到的。因此，特征函数为：
$$f(x,y)=\{\begin{array}{cc}1& y=‘乘坐’并且后面接的x为Bus\\ 0& 否则\end{array}$$
目的是希望观察到的现象在样本上出现的概率等于在总体上出现的概率。即
$$E_{\tilde{P}(x,y)}{f}_i(x,y)=E_{P(x,y)}{f}_i(x,y)$$

模型P(Y|X)需要满足的根本条件为：
$$\tilde{P}(x)P(y|x)=\tilde{P}(x,y)$$
因此左右两边对于f（x，y）期望也应该相同，所以将两个期望相等作为模型学习的约束条件，有n个特征函数，则有n个约束条件。

3.3 学习

最大熵模型的学习等价与约束最优化问题：
$$\begin{gathered} \underset{P\in C}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t.E_p(f_i)=E_{\tilde{p}}(f_i),i=1,2,...,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
按照最优化问题的习惯，将求最大值问题改为最小值问题得：
$$\begin{gathered} \underset{P\in C}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t.E_p(f_i)-E_{\tilde{p}}(f_i)=0,i=1,2,...,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
求解该问题，将约束最优化的原始问题转换为无约束的最优化对偶问题，通过求解对偶问题求解原始问题。该做法的具体原理参照拉格朗日对偶性一文。

1. 引入拉格朗日乘子$w_0,w_1...,w_n$，定义拉格朗日函数：
   $$\begin{gathered} L(P,w)=-H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_p(f_i)-E_{\tilde{p}}(f_i)) \\ =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)) \end{gathered}$$
   因为L(P,w)为凸函数，因此原始问题的解与对偶问题的解是等价的，即：
   $$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)\Rightarrow \underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$
2. 求解对偶问题的内部极小化问题，令
   $$\begin{gathered} \Psi (w)=\underset{P\in C}{\min }L(P_w,w) \\ {P}_w=\arg \underset{P\in C}{\min }L(P,w)=P_w(y|x) \end{gathered}$$
   $P_w$即为该函数的解。
   对P(y|x)求偏偏导的：
   $$\begin{gathered} \frac{\partial L(P,w)}{\partial P(y|x)}=\sum _{x,y}\tilde{P}(x)[\log P(y|x)+1]-\sum _y{w}_0-\sum _{x,y}\tilde{P}(x)[\sum _{i=1}^n{w}_i{f}_i(x,y)] \\ \because \sum _x\tilde{P}(x)=1\Rightarrow \sum _y{w}_0=\sum _{x,y}{w}_0\tilde{P}(x)这步是为了提取上式中的公因式\tilde{P}(x)便于计算。 \\ 原式=\sum _{x,y}\tilde{P}(x)[\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)] \end{gathered}$$
   令偏导数为0，得：
   $$P(y|x)=\frac{e^{{\sum }_{i=1}^n{w}_i{f}_i(x,y)}}{e^{1-w_0}}$$

得到的这个P(y|x)可能并不是一个真正的概率，因为求解过程中消去了一些变量，比如P(x)。因此，它应该只是表达了所有可能取值之间的一个比值关系，是一个非规范化概率，所有对其规范化，

由于${\sum }_{y}P(y|x)=1$,且常数$e^{1-w_0}$在规范化中被约掉，得：
$$\begin{gathered} P_w(y|x)=\frac{1}{Z_w(x)}\exp [\sum _{i=1}^n{w}_i{f}_i(x,y)] \\ {Z}_w(x)=\sum _y\exp [\sum _{i=1}^n{w}_i{f}_i(x,y)] \end{gathered}$$
这是最大熵模型的一般形式。这里得$Z_w(x)$称之为规范化因子，$w_i$是特征的权值，也可以理解为特征函数$f_i(x,y)$得重要程度。

3. 求解对偶问题外部得极大化问题:
   $$w^{\ast }=\arg \underset{w}{\max }\Psi (w)$$
   到此，最大熵模型得学习可以归结为对偶函数$\Psi (w)$的极大化问题。

这里证明了对偶函数的极大化等价于最大熵模型的极大似然估计。
首先证明了似然函数的另一种表述方式：
$L_{\tilde{P}}(P)$表示训练数据的经验概率分布$\tilde{P}(X,Y)$,条件概率分布P(Y|X)的对数似然函数。
$L_{\tilde{P}}(P)$形式的推导过程如下，把上式中的独立分布替换为联合分布得：
证明：对偶函数的极大化等价于最大熵模型的极大似然估计
即：$$\Psi (w)=L_{\tilde{P}}(P_w)$$

4. 模型参数估计

在求解对偶函数的极大化问题（优化问题）,最终可以归结为以似然函数为目标函数的最优化问题，同样可以利用到梯度下降法，牛顿法，拟牛顿法。这里引用了李航老师书中提到的IIS和拟牛顿法，并对步骤进行了细化。

4.1 改进的迭代尺度法IIS

$$L_{\tilde{P}}(P_w)=L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$
目标是极大化上式，求得极大值$\hat{w}$。

• IIS原理：
  当$w$变为新的参数向量$w+\delta$，对数似然函数得变化量：
  $$L(w+\delta )-L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}$$
  但是由于上述求极值时求导上式，红色部分求导困难，计算复杂，所以使用了下面的方法简化计算。
  利用不等式:
  $$-\log \alpha ⩾1-\alpha ,\alpha >0$$
  因此可以建立对数似然函数改变量得下界：
  $$\begin{gathered} L(w+\delta )-L(w)⩾\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+\sum _x\tilde{P}(x)(1-\frac{Z_{w+\delta }(x)}{Z_w(x)}) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}(\sum _x\tilde{P}(x)=1) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{{\sum }_y\exp [{\sum }_{i=1}^n{w}_i{f}_i(x,y)]\ast \exp [{\sum }_{i=1}^n{\delta }_i{f}_i(x,y)]}{Z_w(x)} \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)(\frac{\exp [{\sum }_{i=1}^n{w}_i{f}_i(x,y)]}{Z_w(x)}=P_w(y|x)) \\ =A(\delta |w) \end{gathered}$$
  $A(\delta |w)$即为对数似然函数改变量的一个下界，如果寻找$\delta$能够使下界提高，则对数似然函数也会提高。但因为$\delta$是n维向量，下界A是一个n维向量，不宜与同时优化。因此IIS每次只优化一个${\delta }_i$，固定其他不变。
  对$A(\delta |w)$分别求关于${\delta }_i$的偏导数，并令其为0：
  $$\frac{\partial A(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{f}_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp (\sum _{i=1}^n{\delta }_i{f}_i(x,y))\ast f_i(x,y)$$
  在求解中，由于除${\delta }_i$之外还有其他的$\delta$变量，不易求解优化。
  为了能够求解，IIS进一步降低了下界$A(\delta |w)$。在上式的求导中发现，其他参数未能消掉主要是因为指数函数项求导后其他的$\delta$依旧存在，所以需要从这个地方下手。Jensen不等式可以用于该问题：

Jensen不等式
对于凸函数$\Phi$,以及权重${\alpha }_i$,且${\sum }_i{\alpha }_i=1$,则：
$$\Phi (\sum _i{\alpha }_i{x}_i)⩽\sum _i{\alpha }_i\Phi (x_i)$$

利用这个不等式就可以将指数函数次数中的求和转变为指数函数之外的求和，这样求导后就可以消去含有其他参数的项。所以目前的问题转化为：如何求出$A(\delta |w)$中后一项的"${\alpha }_i$"且令其和为1。
原式中指数项参数的系数为$f_i(x,y)$，为了使他满足Jensen不等式，引入特征函数的和$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
这样$${\alpha }_i=\frac{f_i(x,y)}{f^{\#}(x,y)}$$运用Jensen不等式对$A(\delta |w)$下界进一步降低。
$$\begin{gathered} A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp [\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)] \\ ⩾\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp [{\delta }_i{f}^{\#}(x,y)](因为前有负号所以方向改变) \\ =B(\delta |w) \end{gathered}$$
这时$B(\delta |w)$是对数似然函数改变量的一个新的下界，求导后含有的变量只有${\delta }_i$,令其偏导等于0，所以可解：
$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{f}_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp ({\delta }_i{f}^{\#}(x,y))$$
化简后可以得：
$$\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp ({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$
由此就可以求出每个${\delta }_i$。
IIS算法

书中提到两种情况：

• 当$f^{\#}=M$,即为定值，那么在${\delta }_i$的求解上相对容易：
  $${\delta }_i=\frac{1}{M}\log \frac{E_{\tilde{P}}(f_i)}{E_P(f_i)}$$
• 当$f^{\#}$不为定值时，这样该式就拥有两个变量，必须通过数值计算求${\delta }_i$。通过牛顿法解决时：
  $$令函数：g({\delta }_i)=\frac{\partial B(\delta |w)}{\partial {\delta }_i}=0$$
  通过该迭代方式：
  $${\delta }_i^{(k+1)}={\delta }_i^{(k)}-\frac{g({\delta }_i^{(k)})}{g({\delta }_i^{(k)})}$$
  该迭代方式的几何意义：
  
  因此可知，由于$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=0$的方程有单根，所以牛顿法恒收敛，这样就可以进行求解。

4.2 拟牛顿法

拟牛顿法与logistic求解相似，这里不予赘述。

习题6.1

证明：logistic分布属于指数族分布：

对于logistic分布：

习题6.2

参见 2.1

习题6.3

参照 2.3.1

参考

[1] 维基百科
[2] 《统计学习方法》李航
[3] 《机器学习》西瓜书
[4] 《ISLR》
[5] https://zhuanlan.zhihu.com/p/92484702
[6] https://www.cnblogs.com/mfmdaoyou/p/7110139.html

笔者刚刚入门学习机器学习，因为水平有限，李航老师的书对入门不是特别友好，还在生啃阶段，如果有错误还请之处。