一元线性回归 —— 知识点详解

---

一、变量间关系的度量

1.1 两类变量关系

关系类型	说明	例子
函数关系	确定性关系，一个变量完全由另一个决定	$S=\pi r^2$
相关关系	非确定性关系，变量间存在趋势但不完全决定	身高与体重

1.2 相关系数（Pearson 相关系数）

定义公式：

$$r=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\cdot {\sum }_{i=1}^n(y_i-\bar{y}{)}^2}}$$

等价计算式（便于计算）：

$$r=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{\sqrt{\left[n\sum x_i^2-{\left(\sum x_i\right)}^2\right]\left[n\sum y_i^2-{\left(\sum y_i\right)}^2\right]}}$$

推导过程：

设 $L_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})$，$L_{xx}=\sum (x_i-\bar{x}{)}^2$，$L_{yy}=\sum (y_i-\bar{y}{)}^2$

则 $r=\frac{L_{xy}}{\sqrt{L_{xx}\cdot L_{yy}}}$

其中展开 $L_{xy}$：

$$L_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})=\sum x_i{y}_i-n\bar{x}\bar{y}=\sum x_i{y}_i-\frac{(\sum x_i)(\sum y_i)}{n}$$

同理：

$$L_{xx}=\sum x_i^2-\frac{(\sum x_i{)}^2}{n},L_{yy}=\sum y_i^2-\frac{(\sum y_i{)}^2}{n}$$

性质与判断标准：

• $-1\le r\le 1$
• $|r|$ 越接近 1，线性相关程度越强
• $|r|$ 越接近 0，线性相关程度越弱

| $|r|$ 范围 | 相关程度 |
| --------------------- | -------- |
| $0.8\le |r|\le 1$ | 高度相关 |
| $0.5\le |r|<0.8$ | 中度相关 |
| $0.3\le |r|<0.5$ | 低度相关 |
| $0\le |r|<0.3$ | 不相关 |

1.3 相关系数的检验

原假设与备择假设：

$$H_0:\rho =0\text{（总体相关系数为零，不存在线性相关）}$$
$$H_1:\rho \ne 0$$

检验统计量：

$$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$$

推导过程：

在 $H_0$ 成立的条件下，可以证明统计量 $t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$ 服从自由度为 $n-2$ 的 $t$ 分布。

证明思路（简要）：样本相关系数 $r$ 可以表示为：

$$r=\frac{L_{xy}}{\sqrt{L_{xx}\cdot L_{yy}}}$$

令 $U=\frac{L_{xy}}{\sqrt{L_{xx}}}$，$Q=L_{yy}-\frac{L_{xy}^2}{L_{xx}}$

可以证明，在 $\rho =0$ 的条件下：

• $\frac{U}{\sqrt{L_{yy}/n}}\sim N(0,1)$，即 $\frac{U}{\sqrt{{\sigma }^2}}$ 标准化
• $\frac{Q}{{\sigma }^2}\sim {\chi }^2(n-2)$
• $U$ 与 $Q$ 独立

因此 $t=\frac{U/\sqrt{{\sigma }^2}}{\sqrt{Q/[{\sigma }^2(n-2)]}}=\frac{U\sqrt{n-2}}{\sqrt{Q}}\sim t(n-2)$

将 $r=\frac{U}{\sqrt{U^2+Q}}$ 的关系代入，化简得：

$$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$$

决策规则： 当 $|t|>t_{\alpha /2}(n-2)$ 时，拒绝 $H_0$，认为线性关系显著。

---

二、一元线性回归

2.1 回归模型

总体回归模型：

$$Y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,i=1,2,\dots ,n$$

其中：

• ${\beta }_0$：总体截距（回归常数）
• ${\beta }_1$：总体斜率（回归系数）
• ${\epsilon }_i$：随机误差项，假设 ${\epsilon }_i\sim N(0,{\sigma }^2)$，且相互独立

样本回归方程：

$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$

2.2 最小二乘法（OLS）推导 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$

目标函数：

使残差平方和最小：

$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

求偏导并令其为零：

$$\frac{\partial Q}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0\text{\hspace{1em}(1)}$$

$$\frac{\partial Q}{\partial {\beta }_1}=-2\sum _{i=1}^n{x}_i(y_i-{\beta }_0-{\beta }_1{x}_i)=0\text{\hspace{1em}(2)}$$

由方程(1)展开：

$$\sum y_i-n{\beta }_0-{\beta }_1\sum x_i=0$$

$${\beta }_0=\frac{\sum y_i-{\beta }_1\sum x_i}{n}=\bar{y}-{\beta }_1\bar{x}\text{\hspace{1em}(3)}$$

将(3)代入方程(2)：

$$\sum x_i\left(y_i-(\bar{y}-{\beta }_1\bar{x})-{\beta }_1{x}_i\right)=0$$

$$\sum x_i\left[(y_i-\bar{y})-{\beta }_1(x_i-\bar{x})\right]=0$$

$$\sum x_i(y_i-\bar{y})={\beta }_1\sum x_i(x_i-\bar{x})$$

注意 $\sum x_i(y_i-\bar{y})=\sum (x_i-\bar{x}+\bar{x})(y_i-\bar{y})=\sum (x_i-\bar{x})(y_i-\bar{y})+\bar{x}\underset{=0}{\underbrace{\sum (y_i-\bar{y})}}=L_{xy}$

同理 $\sum x_i(x_i-\bar{x})=L_{xx}$

因此：

$$\boxed{{\hat{\beta }}_1=\frac{L_{xy}}{L_{xx}}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}=\frac{\sum x_i{y}_i-n\bar{x}\bar{y}}{\sum x_i^2-n{\bar{x}}^2}}$$

$$\boxed{{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}}$$

二阶条件验证（确认为最小值）：

Hessian矩阵：

$$H=\left(\begin{array}{cc}\frac{{\partial }^{2}Q}{\partial {\beta }_0^2}& \frac{{\partial }^{2}Q}{\partial {\beta }_0\partial {\beta }_1}\\ \frac{{\partial }^{2}Q}{\partial {\beta }_1\partial {\beta }_0}& \frac{{\partial }^{2}Q}{\partial {\beta }_1^2}\end{array}\right)=\left(\begin{array}{cc}2n& 2\sum x_i\\ 2\sum x_i& 2\sum x_i^2\end{array}\right)$$

$|H|=4n\sum x_i^2-4(\sum x_i{)}^2=4\left[n\sum x_i^2-(\sum x_i{)}^2\right]=4n{L}_{xx}>0$

且 $\frac{{\partial }^{2}Q}{\partial {\beta }_0^2}=2n>0$，故为极小值。

2.3 回归系数的性质

（1）${\hat{\beta }}_1$ 的期望：

$$E({\hat{\beta }}_1)=E\left(\frac{L_{xy}}{L_{xx}}\right)=\frac{1}{L_{xx}}\cdot E\left[\sum (x_i-\bar{x})(Y_i-\bar{Y})\right]$$

由于 $Y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$，$E(Y_i)={\beta }_0+{\beta }_1{x}_i$

$$E({\hat{\beta }}_1)=\frac{1}{L_{xx}}\sum (x_i-\bar{x})\cdot E(Y_i-\bar{Y})$$

$$=\frac{1}{L_{xx}}\sum (x_i-\bar{x})({\beta }_0+{\beta }_1{x}_i-{\beta }_0-{\beta }_1\bar{x})=\frac{{\beta }_1}{L_{xx}}\sum (x_i-\bar{x}{)}^2={\beta }_1$$

即 ${\hat{\beta }}_1$ 是 ${\beta }_1$ 的无偏估计。

（2）${\hat{\beta }}_0$ 的期望：

$$E({\hat{\beta }}_0)=E(\bar{Y}-{\hat{\beta }}_1\bar{x})={\beta }_0+{\beta }_1\bar{x}-{\beta }_1\bar{x}={\beta }_0$$

即 ${\hat{\beta }}_0$ 是 ${\beta }_0$ 的无偏估计。

（3）${\hat{\beta }}_1$ 的方差：

$$D({\hat{\beta }}_1)=\frac{{\sigma }^2}{L_{xx}}=\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2}$$

推导：

$${\hat{\beta }}_1=\frac{L_{xy}}{L_{xx}}=\frac{\sum (x_i-\bar{x})Y_i}{L_{xx}}$$

（注意：$\sum (x_i-\bar{x})\bar{Y}=\bar{Y}\underset{=0}{\underbrace{\sum (x_i-\bar{x})}}=0$，所以 ${\hat{\beta }}_1$ 只是 $Y_i$ 的线性函数）

$$D({\hat{\beta }}_1)=\frac{1}{L_{xx}^2}\sum (x_i-\bar{x}{)}^{2}D(Y_i)=\frac{{\sigma }^2}{L_{xx}^2}\cdot L_{xx}=\frac{{\sigma }^2}{L_{xx}}$$

（4）${\hat{\beta }}_0$ 的方差：

$$D({\hat{\beta }}_0)={\sigma }^2\left(\frac{1}{n}+\frac{{\bar{x}}^2}{L_{xx}}\right)$$

推导：

$${\hat{\beta }}_0=\bar{Y}-{\hat{\beta }}_1\bar{x}=\sum \left[\frac{1}{n}-\frac{(x_i-\bar{x})\bar{x}}{L_{xx}}\right]Y_i$$

$$D({\hat{\beta }}_0)={\sigma }^2\sum {\left[\frac{1}{n}-\frac{(x_i-\bar{x})\bar{x}}{L_{xx}}\right]}^2$$

展开计算（利用交叉项求和为零），最终得：

$$D({\hat{\beta }}_0)={\sigma }^2\left(\frac{1}{n}+\frac{{\bar{x}}^2}{L_{xx}}\right)$$

2.4 ${\sigma }^2$ 的估计

无偏估计量：

$${\hat{\sigma }}^2=S_e^2=\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{n-2}=\frac{Q_e}{n-2}$$

其中 $Q_e=\sum (y_i-{\hat{y}}_i{)}^2$ 为残差平方和，$n-2$ 为自由度（因为估计了 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 两个参数）。

$Q_e$ 的计算公式：

$$Q_e=L_{yy}-{\hat{\beta }}_1{L}_{xy}=L_{yy}-\frac{L_{xy}^2}{L_{xx}}$$

推导过程：

$$Q_e=\sum (y_i-{\hat{y}}_i{)}^2=\sum {\left[(y_i-\bar{y})-{\hat{\beta }}_1(x_i-\bar{x})\right]}^2$$

$$=\sum (y_i-\bar{y}{)}^2-2{\hat{\beta }}_1\sum (x_i-\bar{x})(y_i-\bar{y})+{\hat{\beta }}_1^2\sum (x_i-\bar{x}{)}^2$$

$$=L_{yy}-2{\hat{\beta }}_1{L}_{xy}+{\hat{\beta }}_1^2{L}_{xx}$$

将 ${\hat{\beta }}_1=\frac{L_{xy}}{L_{xx}}$ 代入：

$$=L_{yy}-2\frac{L_{xy}^2}{L_{xx}}+\frac{L_{xy}^2}{L_{xx}^2}\cdot L_{xx}=L_{yy}-\frac{L_{xy}^2}{L_{xx}}$$

2.5 回归方程的显著性检验（$F$ 检验法）

总平方和的分解（ANOVA分解）：

$$\underset{SST}{\underbrace{\sum (y_i-\bar{y}{)}^2}}=\underset{SSR}{\underbrace{\sum ({\hat{y}}_i-\bar{y}{)}^2}}+\underset{SSE}{\underbrace{\sum (y_i-{\hat{y}}_i{)}^2}}$$

即 $SST=SSR+SSE$

其中：

• SST（总平方和）$=L_{yy}$，自由度 $n-1$
• SSR（回归平方和）$={\hat{\beta }}_1^2{L}_{xx}={\hat{\beta }}_1{L}_{xy}$，自由度 $1$
• SSE（残差平方和）$=Q_e$，自由度 $n-2$

推导 $SST=SSR+SSE$：

$$\sum (y_i-\bar{y}{)}^2=\sum {\left[(y_i-{\hat{y}}_i)+({\hat{y}}_i-\bar{y})\right]}^2$$

$$=\sum (y_i-{\hat{y}}_i{)}^2+2\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})+\sum ({\hat{y}}_i-\bar{y}{)}^2$$

证明交叉项为零：

由于 ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i=\bar{y}+{\hat{\beta }}_1(x_i-\bar{x})$

$$\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})={\hat{\beta }}_1\sum (y_i-{\hat{y}}_i)(x_i-\bar{x})$$

$$={\hat{\beta }}_1\sum e_i(x_i-\bar{x})$$

由正规方程 $\sum e_i=0$ 和 $\sum e_i{x}_i=0$，所以 $\sum e_i(x_i-\bar{x})=\sum e_i{x}_i-\bar{x}\sum e_i=0$

因此交叉项 $=0$，分解成立。

$F$ 检验统计量：

$$F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}\sim F(1,n-2)$$

当 $F>F_{\alpha }(1,n-2)$ 时，拒绝 $H_0:{\beta }_1=0$，认为回归方程显著。

2.6 $t$ 检验法

检验统计量：

$$t=\frac{{\hat{\beta }}_1}{\hat{\sigma }/\sqrt{L_{xx}}}=\frac{{\hat{\beta }}_1}{\sqrt{S_e^2/L_{xx}}}\sim t(n-2)$$

当 $|t|>t_{\alpha /2}(n-2)$ 时，拒绝 $H_0$。

说明： $F$ 检验与 $t$ 检验在一元线性回归中是等价的，因为 $F=t^2$。

2.7 决定系数 $R^2$

$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}=\frac{{\hat{\beta }}_1{L}_{xy}}{L_{yy}}=r^2$$

含义： $R^2$ 表示因变量的总变异中能被回归方程解释的比例。$R^2$ 越接近 1，拟合效果越好。

---

三、利用回归方程进行预测

3.1 点预测

给定 $x=x_0$，预测值为：

$${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$$

• 这既是 $E(Y|x_0)$ 的无偏估计，也是个别值 $Y_0$ 的无偏预测。

3.2 均值 $E(Y_0)$ 的置信区间

$E(Y_0)={\beta }_0+{\beta }_1{x}_0$ 的置信水平为 $1-\alpha$ 的置信区间为：

$${\hat{y}}_0\pm t_{\alpha /2}(n-2)\cdot \hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}$$

推导过程：

$${\hat{Y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0=\bar{Y}+{\hat{\beta }}_1(x_0-\bar{x})$$

$$E({\hat{Y}}_0)=E(\bar{Y})+(x_0-\bar{x})E({\hat{\beta }}_1)=({\beta }_0+{\beta }_1\bar{x})+(x_0-\bar{x}){\beta }_1={\beta }_0+{\beta }_1{x}_0$$

$$D({\hat{Y}}_0)=D(\bar{Y})+(x_0-\bar{x}{)}^{2}D({\hat{\beta }}_1)=\frac{{\sigma }^2}{n}+\frac{(x_0-\bar{x}{)}^2{\sigma }^2}{L_{xx}}$$

$$={\sigma }^2\left[\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}\right]$$

因此：

$$\frac{{\hat{Y}}_0-E(Y_0)}{\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}}\sim t(n-2)$$

3.3 个别值 $Y_0$ 的预测区间

对于给定 $x_0$，个别值 $Y_0$ 的预测水平为 $1-\alpha$ 的预测区间为：

$${\hat{y}}_0\pm t_{\alpha /2}(n-2)\cdot \hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}$$

推导过程：

预测误差 $e_0=Y_0-{\hat{Y}}_0$，其中 $Y_0$ 与 ${\hat{Y}}_0$ 独立。

$$E(e_0)=E(Y_0)-E({\hat{Y}}_0)=({\beta }_0+{\beta }_1{x}_0)-({\beta }_0+{\beta }_1{x}_0)=0$$

$$D(e_0)=D(Y_0)+D({\hat{Y}}_0)={\sigma }^2+{\sigma }^2\left[\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}\right]$$

$$={\sigma }^2\left[1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}\right]$$

标准化：

$$\frac{Y_0-{\hat{Y}}_0}{\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}}\sim t(n-2)$$

3.4 预测区间的特征

• 预测区间是关于 $\bar{x}$ 对称的，$x_0$ 越远离 $\bar{x}$，区间越宽（呈喇叭形）。
• $n$ 越大，区间越窄（信息越多，预测越精确）。
• 个别值的预测区间比均值的置信区间宽（多了一项 ${\sigma }^2$）。