回归分析概述

定义

在统计学中，回归分析指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计学方法。回归分析按照涉及自变量的多少，分为一元回归和多元回归；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量的关系类型，可分为线性回归分析和非线性回归分析。

常见回归分析

一元线性回归，多元线性回归，一元非线性回归分析，多元非线性回归分析

相关分析

研究两个或两个以上的变量之间相关程度及大小的一种统计方法，如主成分分析和灰色关联分析。而回归分析时寻找相关关系的变量间的数学表达式，并进行统计推断的一种统计方法。

回归分析的一般步骤

• 确定回归方程中的解释变量和被解释变量（自变量，因变量）
• 确定回归模型，建立回归方程
• 对回归方程进行各种检验
• 利用回归方程进行预测

回归分析基本概念

• 因变量：被预测或被解释的变量，用y表示

• 自变量：预测或解释因变量的一个或多个变量，用x表示

• 回归方程:描述y的期望值如何依赖于自变量x的方程称为回归方城.一元线性回归方程为$$E(y)={\beta }_0+{\beta }_{1}x$$

• 参数的最小二乘估计:对于回归直线,关键在于求解参数,常用高斯提出的最小二乘法,它是使用因变量观察值y与估计值之间的离差平方和达到最小来求解的
  $$Q=\sum (y-\hat{y}{)}^2=\sum (y-{\hat{\beta }}_0-{\hat{\beta }}_{1}x{)}^2$$
  $$\text{展开可得:}Q=\sum (y-\hat{y}{)}^2=\sum y^2+n{\hat{\beta }}_0^2+{\hat{\beta }}_1^2\Sigma x^2+2{\hat{\beta }}_0{\hat{\beta }}_1\Sigma x-2{\hat{\beta }}_0\Sigma y-2{\hat{\beta }}_1\Sigma xy$$
  $$\text{求偏导可得:}\{\begin{array}{l}\sum y=n{\hat{\beta }}_0+{\hat{\beta }}_1\Sigma x\\ \sum xy=2{\hat{\beta }}_0\Sigma x+{\hat{\beta }}_1\Sigma x^2\end{array}$$
  $$\{\begin{array}{l}{\hat{\beta }}_1=\frac{n\sum xy-\sum x\sum y}{n\sum x^2-(\sum x{)}^2}\\ .\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}\end{array}$$

• 误差:ɛ是独立并且具有相同的分布,并且服从均值为0方差为σ²的正态分布
• 正态分布表达式:$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\exp }^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$$
• 估计标准误差:为了度量回归分析的可靠性,通常计算估计标准误差,它度量观察值回绕着回归直线的变化程度或分散程度,其值越大,回归方程代表性就越小
  $$S_e=\sqrt{\frac{\sum (y-\hat{y}{)}^2}{n-2}}$$
• 置信/预测区间估计:
  $$\text{置信区间:}{\hat{y}}_0\pm t_{\frac{\alpha }{2}}{s}_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x-\bar{x}{)}^2}}$$
  $$\text{预测区间:}{\hat{y}}_0\pm t_{\frac{\alpha }{2}}{s}_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x-\bar{x}{)}^2}}$$
  

回归直线的拟合优度

回归直线与各观测点的接近程度称为回归直线对数据的拟合优度

• 总平方和（TSS）

反映因变量的n个观察值与其均值的总离差

$$TSS=\sum y_i^2=\sum (y_i-{\bar{y}}_i{)}^2$$

• 回归平方和（ESS）

反印了y的总变差中，由于x与y之间线性关系引起的y的变化部分
$$ESS=\sum {\hat{y}}_i^2=\sum ({\hat{y}}_i-{\bar{y}}_i{)}^2$$

• 残差平方和（RSS）

反映了除了x对y的线性影响之外的因素对y变差的作用，是不能由回归直线来解释的变差部分