在第二部分，我记录了实验中提取图像特征的HOG算子及其实现代码，我们接下来就要构造几个简单的分类器，对数据集的HOG特征来分类，实现进球/不进球的分类任务。

分类器的设计和选择

实验中要用到的分类模型主要有四个：

• logistic回归
• SVM支持向量机
• MLP多层感知机
• CNN卷积神经网络

构建分类器的过程中总有许多因素会对最终性能产生影响，比如数据的增广方式、模型的超参数、是否引入某个修正项等等。不同因素的组合会产生非常多的可选方案，因此我们采用交叉验证和绘制ROC曲线的形式来确定模型的最优超参数，并比较不同参数及不同模型的优劣。交叉验证和ROC曲线在随后都会讲到。

几种损失函数

函数名称	形式
均方误差损失	$$MSE=-\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2$$ $y_i$是数据的真实标签，${\hat{y}}_i$是模型的输出结果
平均交叉熵损失	− 1 m [ ∑ i = 1 m ∑ j = 0 1   1 { y ( i ) = j }   l o g   p ( y ( i ) = j ∣ x ( i ) ; θ ) ] -\frac{1}{m}[\sum_{i=1}^{m}\sum_{j=0}^{1}\ 1\{ y^{(i)}=j\}\ log \ p(y^{(i)}=j\mid x^{(i)};\theta)] −m1​[i=1∑m​j=0∑1​ 1{y(i)=j} log p(y(i)=j∣x(i);θ)] 1 { ⋅ } 1\{ \cdot \} 1{⋅}是指示函数，当$y^{(i)}=j$时函数值为1否则为0
$0-1$损失	$$L_{0,1}=\sum _{i=0}^m{I}_{f(x^{(i)})̸=y^{(i)}}$$ $I_x$也是指示函数，0-1损失相当于记录了模型分类出错的次数
负对数似然损失	$$NLL(\theta ,D)=-\sum _{i=0}^{\mid D\mid }logP(Y=y^{(i)}\mid x^{(i)},\theta )$$
$L1$正则化	$$E(\theta ,D)=NLL(\theta ,D)+\lambda \mid \mid \theta \mid {\mid }_1$$ $$\mid \mid \theta \mid {\mid }_p=(\sum _{j=0}^{\mid \theta \mid }\mid {\theta }_j{\mid }^p{)}^{\frac{1}{p}}p=1$$
$L2$正则化	$$E(\theta ,D)=NLL(\theta ,D)+\lambda \mid \mid \theta \mid {\mid }_2$$ $$\mid \mid \theta \mid {\mid }_p=(\sum _{j=0}^{\mid \theta \mid }\mid {\theta }_j{\mid }^p{)}^{\frac{1}{p}}p=2$$

我所理解的正则化的一个目的是限制$\theta$的各维分量不至于出现极大的值，也就是避免出现输入向量中某一维度

Logistic回归

基本原理

logistic回归是一个基于概率的线性二分类器，通过学习一组权重向量$\omega$和偏置$b$，模型将一个输入向量映射到一个高维空间。权重可以理解为对输入特征向量的线性加权，体现了不同维度对分类的重要程度，偏置可以理解为系统的零输入响应，是系统在没有输入的情况下的输出值。
$$x\to {\omega }^{T}x+b$$
实际上，模型的参数$\omega$和$b$正是决定了这个高维空间中的一个超平面，用于将样本点分在超平面的两侧。而下面的公式也可以说明，样本点距离超平面的距离与属于该类别的概率成正比。
$$s(x)=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$$
$$P(y=1|x^{\prime }\theta )=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$$
我们将输入向量稍作改动，添加一个常数1的维度，目的是将偏置$b$写进输入向量$x$，同时将权重$\omega$增加一维，用于和$x^{\prime }$的最后一维相乘，得到偏置。
$${\omega }^{T}x+b={\theta }^T{x}^{\prime }$$

那么上两式就可以改写成
$$s(x)=\frac{1}{1+e^{-{\theta }^T{x}^{\prime }}}$$
$$P(y=1|x^{\prime }\theta )=\frac{1}{1+e^{-{\theta }^T{x}^{\prime }}}$$
其中，${\theta }^T{x}^{\prime }$是高维空间中一点到由$\theta$决定的超平面的距离，因为${\theta }^T{x}^{\prime }=\vec{\theta }\cdot \vec{x}$，默认向量都是列向量，$\theta$规定为超平面的法向量，它可以朝向平面任一侧。距离越大，向量点积的值就越大，根据$sigmoid$函数的图像我们知道该点属于某一类别的概率值就越接近于1，相反如果数据点在法向量$\theta$的另一侧，其点积的值越接近$-1$，属于另一类的概率就越大。

损失函数

在二值分类的问题中，我们将平均交叉熵损失函数写成如下
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\lambda \mid \mid \theta \mid {\mid }_2^2$$
其中，$h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^T{x}^{(i{)}^{\prime }}}}$，$x^{(i)}$是数据集中第$i$个样本，这个损失函数也就是Logistic回归的损失函数。下面我们用梯度下降法对它进行求解。

Logistic回归的求解——梯度下降法

直接将梯度下降的算法写出来。

1.$置迭代代数k=0，设置初始点{\mathbf{x}}_0$
2.$重复以下操作$
3.$计算下降方向{\mathbf{P}}_{\mathbf{k}}$ ¹
4.$选择{\alpha }_k\in {\Re }_{+}作为下降步长“尽量”最小化h(\alpha )=f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{P}}_{\mathbf{k}})$²
5.$用步长{\alpha }_k来更新当前点{\mathbf{x}}_{\mathbf{k}},{\mathbf{x}}_{\mathbf{k}+1}={\mathbf{x}}_{\mathbf{k}}+{\mathbf{\alpha }}_{\mathbf{k}}{\mathbf{P}}_{\mathbf{k}},k=k+1$
6.$当\mid \mid \nabla f({\mathbf{x}}_{\mathbf{k}})<ϵ时算法停止$

损失函数的梯度计算

补充的向量微分知识。

我们将要对这个函数求梯度向量。
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\lambda \mid \mid \theta \mid {\mid }_2^2$$

$$\because h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}},x,\theta 是向量$$
$$\frac{dh(x)}{dx}=h(x)[1-h(x)]$$
$$\therefore \frac{\partial h_{\theta }(x)}{\partial \theta }=\frac{\partial h_{\theta }(x)}{\partial ({\theta }^{T}x)}\frac{\partial ({\theta }^{T}x)}{\partial \theta }=h_{\theta }(1-h_{\theta })x^T$$
$$\therefore {\nabla }_{\theta }J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\frac{1}{h_{\theta }}\frac{\partial h_{\theta }}{\partial \theta }+(1-y^{(i)})\frac{1}{1-h_{\theta }}(-1)\frac{\partial h_{\theta }}{\partial \theta }]+\lambda {\theta }^T$$
$$\therefore {\nabla }_{\theta }J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\frac{1}{h_{\theta }}{h}_{\theta }(1-h_{\theta })x^{(i)T}+(y^{(i)}-1)\frac{1}{1-h_{\theta }}{h}_{\theta }(1-h_{\theta })x^{(i)T}]+\lambda {\theta }^T$$
$$\therefore {\nabla }_{\theta }J(\theta )=-\frac{1}{m}\sum _{i=1}^m{x}^{(i)T}[y^{(i)}(1-h_{\theta })+(y^{(i)}-1)h_{\theta }]+\lambda {\theta }^T$$
$$\therefore {\nabla }_{\theta }J(\theta )=-\frac{1}{m}\sum _{i=1}^m{x}^{(i)T}(y^{(i)}-h_{\theta })+\lambda {\theta }^T$$
上式就是损失函数关于权重向量$\theta$的梯度向量，应该是一个行向量

---

1. 算法的关键在于求出每次迭代的下降方向，即$\nabla f({\mathbf{x}}_{\mathbf{k}})=\frac{\partial f({\mathbf{x}}_{\mathbf{k}})}{\partial \vec{\mathbf{\theta }}}$，这里的自变量是一个向量。 ↩︎

2. 下降方向确定的情话况下，将$\alpha$看做新函数的自变量，选择最合适的下降步长，以便获得原函数最大的下降程度。这个函数的优化不必要特别精确，否则计算复杂度的升高会得不偿失。 ↩︎