Python数据分析：逻辑回归(logistic regression)

逻辑回归（Logistic Regression），简称LR，能够将特征输入集合转化为0和1这两类的概率。

• 优点：计算代价不高，易于理解和实现
• 缺点：容易欠拟合，分类精度不高
• 使用数据：数值型和标称型

基本模型：

• 训练样本：
  $$X\left(x_{\theta },x_1,x_2,\dots ,x_n\right)$$

• 学习参数：
  $$\Theta \left({\theta }_{\theta },{\theta }_1,{\theta }_2,\dots ,{\theta }_n\right)$$

$$Z={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

• 向量表示：
  $$Z={\Theta }^{T}X$$

• sigmoid函数将线性转换成非线性
  $$g(Z)=\frac{1}{1+e^{-Z}}$$
  

• 预测函数：
  $$h_{\theta }(X)=g\left({\Theta }^{T}X\right)=\frac{1}{1+e^{-{\theta }^{T}X}}$$

• 用概率的形式表示：

  • 正样本
    $$h_{\theta }(X)=P(y=1|X;\Theta )$$

  • 负样本
    $$1-h_{\theta }(X)=P(y=0|X;\Theta )$$

• 损失函数：

$$\mathrm{cost}\left(h_{\theta }(x),y\right)=\{\begin{array}{ll}-\log \left(h_{\theta }(x)\right)& \text{ if }\mathrm{y}=1\\ -\log \left(1-h_{\theta }(x)\right)& \text{ if }\mathrm{y}=0\end{array}$$

$$\mathrm{cost}\left(h_{\theta }(x),y\right)=\sum _{i=1}^m-y_i\log \left(h_{\theta }(x)\right)-\left(1-y_i\right)\log \left(1-h_{\theta }(x)\right)$$

• 目标：通过训练样本求出参数theta使损失函数最小化

• 求解：梯度下降(gradenet descent)

  
  $${\theta }_j={\theta }_j-\alpha \sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)},(j=0\dots n)$$

  • alpha为学习率
  • 同时更新所有theta
  • 迭代更新至收敛

代码实现：

import numpy as np
from scipy.optimize import fmin_l_bfgs_b


class LogisticRegression(object):
    """
        Logistic Regression 类
    """
    def __init__(self, c=1.):
        self.c = c

    def fit(self, X, y):
        """
            训练模型
        """
        self._beta = np.zeros((X.shape[1] + 1, 1))

        # 使用L-BFGS-B求最优化
        result = fmin_l_bfgs_b(cost_func,               # 损失函数
                               self._beta,              # 初始值
                               args=(X, y, self.c))     # 损失函数的参数

        self._beta = result[0]
        return self

    def predict(self, X):
        """
            预测，返回标签
        """
        return np.argmax(self.predict_proba(X), axis=1)

    def predict_proba(self, X):
        """
            预测，返回概率
        """
        X = np.hstack((np.ones((X.shape[0], 1)), X))
        XBeta = np.dot(X, self._beta).reshape((-1, 1))

        probs = 1. / (1. + np.exp(-XBeta))
        return np.hstack((1 - probs, probs))


def cost_func(beta, X, y, C):
    """
        损失函数/目标函数
        返回 正则化的负对数似然值 及 梯度值
    """

    # 给X加一列1，便于计算
    X = np.hstack((np.ones((X.shape[0], 1)), X))
    # 转成列向量
    y = y.reshape((-1, 1))

    # 预先计算XBeta
    XBeta = np.dot(X, beta).reshape((-1, 1))

    # 预先计算Xbeta的exp值
    exp_XBeta = np.exp(XBeta)

    # 负对数似然值
    # neg_ll = C*np.sum(np.log(1. + exp_XBeta) - y*XBeta, axis=0) + 0.5*np.inner(beta, beta)
    neg_ll = C * np.sum(np.log(1. + exp_XBeta) - y * XBeta, axis=0)

    # 负对数似然值得梯度
    grad_neg_ll = C*np.sum((1. / (1. + exp_XBeta))*exp_XBeta*X - y*X, axis=0) + beta

    return neg_ll, grad_neg_ll


def cal_acc(true_labels, pred_labels):
    """
        计算准确率
    """
    n_total = len(true_labels)
    correct_list = [true_labels[i] == pred_labels[i] for i in range(n_total)]

    acc = sum(correct_list) / n_total
    return acc

sklearn中逻辑回归的函数调用：

sklearn.linear_model.LogisticRegression