机器学习算法（一）：线性回归

一碗黄焖鸡三碗米饭

1361人浏览 · 2025-07-11 16:05:21

一碗黄焖鸡三碗米饭 · 2025-07-11 16:05:21 发布

机器学习算法之线性回归：技术解析与Java实现

线性回归（Linear Regression）是机器学习中的一种基础且常用的回归算法。它通过拟合数据点，找到自变量与因变量之间的线性关系。线性回归广泛应用于预测分析、趋势分析等领域。本篇文章将深入探讨线性回归的原理、模型推导、实现过程，并通过Java代码展示如何实现一个简单的线性回归模型。

一、线性回归简介

1.1 线性回归的定义

线性回归模型假设因变量（目标变量）与自变量（输入特征）之间存在线性关系，表达式为：

$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n + \epsilon$

其中：

$y$ 是目标变量（因变量）。
$x_1,x_2,...,x_n$ 是自变量（特征变量）。
$\beta_0$ 是截距项（bias），表示当所有输入特征为0时，目标变量的预测值。
$\beta_1,\beta_2,...,\beta_n$ 是自变量对应的回归系数，表示每个特征对预测结果的影响。
$\epsilon$ 是误差项，表示模型的预测与真实值之间的差距。

1.2 线性回归的目标

线性回归的目标是通过数据训练，找到一组合适的回归系数 $\beta_1,\beta_2,...,\beta_n$ ，使得模型的预测值尽可能接近真实值。为了达到这个目标，我们通常使用最小二乘法（Least Squares Method）来优化回归系数。

二、最小二乘法

最小二乘法是求解线性回归模型参数的常用方法。其核心思想是通过最小化预测值与真实值之间的差的平方和来找到最优的回归系数。

2.1 损失函数

假设有 mm 个样本数据，每个样本有一个真实值 yiyi 和对应的特征值 xixi，模型的预测值为 yi^yi^。则损失函数（均方误差）定义为：

$J(\beta_0, \beta_1, ..., \beta_n) = \frac{1}{2m} \sum_{i=1}^m (\hat{y_i} - y_i)^2$

其中，yi^yi^ 由线性回归模型计算得到：

$\hat{y_i} = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_n x_{in}$

2.2 梯度下降法

为了最小化损失函数，常用的方法是梯度下降法。梯度下降法通过反向传播误差，逐步调整回归系数。具体地，参数更新的公式为：

$\beta_j := \beta_j - \alpha \frac{\partial J(\beta_0, \beta_1, ..., \beta_n)}{\partial \beta_j}$

其中：

$\beta_j$ 是第 $j$ 个回归系数。
$\beta$ 是学习率，控制每次更新步长的大小。
$\frac{\partial J}{\partial \beta_j}$ 是损失函数对回归系数的偏导数。

三、线性回归模型的实现

接下来，我们通过Java代码来实现一个简单的线性回归模型。我们使用梯度下降法来优化回归系数。

3.1 准备数据

首先，我们需要一些样本数据用于训练。为了简单起见，我们使用一个二维数组表示样本数据，其中每行代表一个样本，第一列是特征值，第二列是目标值。

public class LinearRegression {

    // 样本数据：第一列为特征值，第二列为目标值
    private static final double[][] data = {
        {1, 1},
        {2, 2},
        {3, 2.8},
        {4, 4},
        {5, 5.1},
        {6, 5.9},
        {7, 6.7},
        {8, 7.8},
        {9, 8.3},
        {10, 9.2}
    };

    public static void main(String[] args) {
        double learningRate = 0.01; // 学习率
        int iterations = 1000; // 迭代次数

        // 初始化回归系数
        double beta0 = 0; // 截距
        double beta1 = 0; // 斜率

        // 训练线性回归模型
        LinearRegression lr = new LinearRegression();
        lr.train(data, learningRate, iterations, beta0, beta1);
    }

    public void train(double[][] data, double learningRate, int iterations, double beta0, double beta1) {
        int m = data.length;

        // 梯度下降法优化回归系数
        for (int i = 0; i < iterations; i++) {
            double gradientBeta0 = 0;
            double gradientBeta1 = 0;

            // 计算梯度
            for (int j = 0; j < m; j++) {
                double x = data[j][0];
                double y = data[j][1];
                double prediction = beta0 + beta1 * x;
                gradientBeta0 += (prediction - y);
                gradientBeta1 += (prediction - y) * x;
            }

            // 更新回归系数
            beta0 -= learningRate * gradientBeta0 / m;
            beta1 -= learningRate * gradientBeta1 / m;

            // 每100次迭代输出一次结果
            if (i % 100 == 0) {
                System.out.println("Iteration " + i + ": beta0 = " + beta0 + ", beta1 = " + beta1);
            }
        }
    }
}