3. softmax回归

softxmax回归推导

softmax回归是一种用于多类分类的机器学习算法，它是逻辑回归在多类分类问题上的推广。

在softmax回归中，我们试图找到一组权重向量，使得对于每个输入样本，我们可以通过将权重向量与输入向量进行点积，然后将结果传递到softmax函数中来预测输出的概率分布。

让我们先从线性回归开始推导。假设我们有一个输入向量$x\in {\mathbb{R}}^n$，我们想要预测一个实值输出$y\in \mathbb{R}$。我们可以使用线性模型来进行预测：

$$\hat{y}=w^{T}x+b$$

其中$w\in {\mathbb{R}}^n$和$b\in \mathbb{R}$是要学习的参数，$\hat{y}$是我们预测的输出。

我们的目标是通过最小化预测值和真实值之间的平方误差来学习参数$w$和$b$：

$$\underset{w,b}{\min }\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

其中$m$是训练集中的样本数量。我们可以使用梯度下降法来求解此问题。首先，我们需要计算损失函数的梯度：

$$\frac{\partial }{\partial w_j}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2=2\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)})x_j^{(i)}$$

$$\frac{\partial }{\partial b}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2=2\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)})$$

接下来，我们可以使用梯度下降法来更新权重向量和偏置项：

$$w_j:=w_j-\alpha \frac{\partial }{\partial w_j}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

$$b:=b-\alpha \frac{\partial }{\partial b}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

其中$\alpha$是学习率。

现在让我们将线性回归推广到分类问题。假设我们有$m$个训练样本，每个样本有$n$个特征和$c$个类别。我们将每个训练样本表示为一个向量$x^{(i)}\in {\mathbb{R}}^n$，并将其对应的类别表示为$y^{(i)}\in 1,2,...,c$。

为了使我们的模型能够预测类别，我们需要将线性回归的输出转换为概率分布。这可以通过softmax函数来实现。对于输入向量$x\in {\mathbb{R}}^n$和权重向量$w_k\in {\mathbb{R}}^n$（对于每个类别$k$），我们可以计算类别$k$的概率为：

$$P(y=k|x)=\frac{e^{w_k^{T}x}}{{\sum }_{j=1}^c{e}^{w_j^{T}x}}$$

其中$e$是自然常数$e$，分母是所有类别的概率之和。我们可以将所有类别的概率表示为一个向量：

$$\begin{array}{rl}\hat{y}& =softmax(w^{T}x)\\ & =\left[\begin{array}{c}P(y=1|x)\\ P(y=2|x)\\ \dots \\ P(y=c|x)\end{array}\right]\\ & =\frac{1}{{\sum }_{j=1}^c{e}^{w_j^{T}x}}\left[\begin{array}{c}{e}^{w_1^{T}x}\\ e^{w_2^{T}x}\\ \dots \\ e^{w_c^{T}x}\end{array}\right]\end{array}$$

现在我们可以定义损失函数，以便在训练集上最小化分类误差。我们可以使用负对数似然函数来定义损失函数：

$$J(w)=-\sum _{i=1}^m\sum _{k=1}^c{y}_k^{(i)}\log P(y=k|x^{(i)})$$

其中$y_k^{(i)}$是训练样本$i$的真实类别（如果样本$i$属于类别$k$，则$y_k^{(i)}=1$，否则$y_k^{(i)}=0$）。我们可以使用梯度下降法来最小化损失函数，并更新权重向量$w$：

$$w_j:=w_j-\alpha \frac{\partial J(w)}{\partial w_j}$$

其中$\alpha$是学习率。

现在我们需要计算损失函数的梯度。对于权重向量$w_k$中的每个元素$w_{jk}$，我们可以得到以下梯度公式：

$$\frac{\partial J(w)}{\partial w_{jk}}=-\sum _{i=1}^m\left(y_k^{(i)}-\frac{e^{w_k^T{x}^{(i)}}}{{\sum }_{j=1}^c{e}^{w_j^T{x}^{(i)}}}\right)x_j^{(i)}$$

这个梯度公式的形式与线性回归的梯度公式非常相似。在实践中，我们通常使用随机梯度下降法来优化损失函数。

最后，让我们总结一下softmax回归的推导过程。我们从线性回归开始推导，然后将其推广到多类别分类问题。通过使用softmax函数将线性回归的输出转换为概率分布，我们可以定义负对数似然函数来度量分类误差，并使用梯度下降法来最小化损失函数。梯度下降法的更新公式使用了损失函数的梯度，我们可以通过对损失函数求偏导数来计算权重向量的梯度。最后，我们可以使用随机梯度下降法来加速优化过程。