从数据中推断未知规律，是统计学永恒的主题。

我们观察到的是样本，而真正关心的是隐藏在样本背后的参数、分布和规律。

所谓“估计（Estimation）”，就是利用有限的数据，对未知对象进行合理推断。

在统计学的发展过程中，人们提出了许多估计方法，其中最经典、最常用的包括：

• 最大似然估计（Maximum Likelihood Estimation，MLE）
• 最大后验估计（Maximum A Posteriori Estimation，MAP）
• 最小二乘估计（Least Squares Estimation，LSE）
• 最优线性无偏估计（Best Linear Unbiased Estimator，BLUE）
• 贝叶斯估计（Bayesian Estimation）
• 核密度估计（Kernel Density Estimation，KDE）

这些方法看似不同，但本质上都在回答一个问题：

如何利用已有信息，对未知规律做出最合理的猜测？

本文将从数学形式、计算过程以及直观理解三个层面介绍这些方法。

---

1. 估计问题的基本形式

假设我们观察到一组数据：

X={x1,x2,…,xn} X=\{x_1,x_2,\ldots,x_n\} X={x1​,x2​,…,xn​}

这些数据来自某个未知分布：

$$X\sim P(x|\theta )$$

其中：

• $X$：观测数据
• $\theta$：未知参数
• $P(x|\theta )$：数据生成模型

我们的目标是：

$$\text{根据 }X\text{ 推断 }\theta$$

例如：

问题1：估计平均身高

假设：

$$X\sim N(\mu ,{\sigma }^2)$$

我们不知道：

• 平均身高 $\mu$
• 方差 ${\sigma }^2$

通过样本：

$$x_1,x_2,...,x_n$$

估计：

$$\hat{\mu }$$

---

问题2：预测房价

假设：

$$y=f(x)+ϵ$$

我们希望找到：

$$\hat{f}(x)$$

不同估计方法，就是不同的“推断哲学”。

---

2. 最大似然估计（MLE）

2.1 核心思想

最大似然估计的思想非常简单：

哪个参数最可能产生当前观察到的数据，就选择哪个参数。

换句话说：

假设世界存在一个参数 $\theta$。

我们不知道它是多少。

那么：

尝试不同的 $\theta$：

• 如果这个参数产生当前数据的概率很大
• 那么它更可信

数学表达：

$${\hat{\theta }}_{MLE}=\arg \underset{\theta }{\max }P(X|\theta )$$

其中：

$$P(X|\theta )$$

叫做似然函数（Likelihood）。

---

2.2 为什么使用对数似然？

通常：

$$P(X|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$

多个概率相乘容易计算困难。

因此取对数：

$$L(\theta )=\log P(X|\theta )$$

因为：

$$\log (x)$$

是单调函数，所以最大值位置不变：

$$\hat{\theta }=\arg \underset{\theta }{\max }L(\theta )$$

---

2.3 举例：估计硬币正面概率

假设：

硬币正面概率：

$$P(head)=p$$

实验 100 次：

正面 60 次。

那么：

$$L(p)=p^{60}(1-p{)}^{40}$$

最大化：

$$\log L(p)=60\log p+40\log (1-p)$$

求导：

$$\frac{60}{p}-\frac{40}{1-p}=0$$

得到：

$$p=0.6$$

所以：

$$\hat{p}=0.6$$

---

2.4 MLE本质理解

最大似然其实是在问：

如果世界按照某个参数运行，出现现在数据的可能性最大吗？

它是一种：

• 数据驱动
• 频率派思想
• 不考虑先验知识

优点：

• 简单
• 通用
• 大样本性质优秀

缺点：

• 数据少时容易过拟合
• 不利用已有经验

---

3. 最大后验估计（MAP）

3.1 从 MLE 到 MAP

MLE：

只考虑：

$$P(X|\theta )$$

但是现实中：

我们往往知道一些先验知识。

例如：

一个硬币通常大概率接近公平。

于是加入：

$$P(\theta )$$

表示：

参数本身出现的概率。

---

3.2 贝叶斯公式

根据贝叶斯公式：

::contentReference[oaicite:0]{index=0}

忽略：

$$P(X)$$

得到：

$$P(\theta |X)\propto P(X|\theta )P(\theta )$$

MAP寻找：

后验概率最大的参数：

$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{\max }P(X|\theta )P(\theta )$$

取对数：

$$=\arg \underset{\theta }{\max }[\log P(X|\theta )+\log P(\theta )]$$

---

3.3 MAP本质理解

MAP=MLE+先验约束

可以理解为：

MLE：

“只相信数据。”

MAP：

“相信数据，同时参考过去经验。”

例如：

MLE：

100 次投硬币：

60 次正面

认为：

$$p=0.6$$

MAP：

知道：

普通硬币一般接近：

$$p=0.5$$

最终可能得到：

$$p=0.55$$

---

4. 最小二乘估计（LSE）

4.1 核心思想

最小二乘法：

找一个模型，让预测值和真实值之间的误差平方和最小。

假设：

线性模型：

$$y=wx+b$$

预测：

$${\hat{y}}_i=w{x}_i+b$$

误差：

$$e_i=y_i-{\hat{y}}_i$$

目标：

$$\min \sum _i{e}_i^2$$

即：

$$\min \sum _i(y_i-w{x}_i-b{)}^2$$

---

4.2 为什么平方误差？

原因：

1. 消除正负抵消

如果直接：

$$\sum e_i$$

正负误差可能抵消。

2. 放大大误差

平方：

大错误惩罚更严重。

---

4.3 矩阵形式

线性模型：

$$Y=X\beta +ϵ$$

目标：

$$\min ||Y-X\beta |{|}^2$$

求导：

得到：

$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$$

---

4.4 最小二乘本质

最小二乘不是概率思想。

它关注：

几何距离最小。

从空间角度：

寻找一个预测平面，使所有数据点到该平面的距离平方最小。

---

5. 最优线性无偏估计（BLUE）

5.1 什么是 BLUE？

BLUE：

Best Linear Unbiased Estimator

中文：

最佳线性无偏估计。

它来自高斯-马尔可夫定理。

---

假设：

$$Y=X\beta +ϵ$$

满足：

1. 线性

$$\hat{\beta }=AY$$

2. 无偏：

$$E(\hat{\beta })=\beta$$

3. 方差最小：

$$Var(\hat{\beta })$$

最低。

那么：

$$\hat{\beta }$$

就是 BLUE。

---

5.2 与最小二乘关系

在线性回归满足：

• 误差均值为 0
• 同方差
• 不相关

条件下：

普通最小二乘估计：

OLS

就是：

BLUE。

---

5.3 本质理解

BLUE回答：

在所有线性估计方法中，谁最稳定？

它关注：

不是找到一个参数。

而是：

找到一个：

• 不偏
• 方差最低

的估计。

---

6. 贝叶斯估计

6.1 核心思想

频率派：参数固定，数据随机。

贝叶斯派：参数也是随机变量。

因此：

$$P(\theta )$$

表示参数的不确定性。

---

6.2 贝叶斯推断过程

先验：

$$P(\theta )$$

观察数据：

$$P(X|\theta )$$

得到后验：

$$P(\theta |X)$$

公式：

$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}$$

---

6.3 贝叶斯估计结果

最终估计：

可以选择：

后验均值

$$E(\theta |X)$$

后验最大值

即：

MAP。

---

6.4 本质理解

贝叶斯方法认为：

世界中的未知量，本身也具有不确定性。

所以它输出的不是：

一个答案：

$$\theta =5$$

而是：

一个分布：

$$P(\theta |X)$$

告诉你：

哪些可能性更高。

---

7. 核密度估计（KDE）

7.1 KDE解决什么问题？

前面的估计：

主要估计参数。

例如：

平均值：

$$\mu$$

但是：

如果不知道数据分布形式怎么办？

例如：

不知道数据是不是：

• 正态分布
• 指数分布
• 多峰分布

这时候使用：

KDE。

---

7.2 KDE思想

KDE：

Kernel Density Estimation

核心：

每个数据点贡献一个“小山峰”，所有山峰叠加形成概率密度。

公式：

$$\hat{f}(x)=\frac{1}{nh}\sum _{i=1}^{n}K(\frac{x-x_i}{h})$$

其中：

• $K$：核函数
• $h$：带宽

---

7.3 常用核函数

高斯核：

$$K(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}$$

意味着：

每个样本点附近放一个高斯小曲线。

---

7.4 带宽h的重要性

h太小：

数据点 → 原样复制

结果：

过拟合。

h太大：

曲线 → 过度平滑

结果：

丢失结构。

---

7.5 KDE本质理解

KDE：

不是估计参数。

而是在估计：

整个概率分布。

它回答：

数据真正的分布形状是什么？

---

8. 六种估计方法对比

方法	核心思想	是否需要模型	输出
MLE	最大化数据可能性	是	参数
MAP	最大化后验概率	是	参数
最小二乘	最小化误差	通常线性	参数
BLUE	最优无偏线性估计	线性模型	参数
贝叶斯估计	更新参数分布	是	参数分布
KDE	平滑样本点	否	概率密度

---

9. 六种方法之间的关系

MLE 与 MAP

$$
MAP

MLE+Prior
$$

MAP加入了先验。

---

MLE 与 贝叶斯

MLE：

取最大：

$$\theta$$

贝叶斯：

保留：

$$P(\theta |X)$$

---

最小二乘 与 MLE

如果：

误差服从：

$$N(0,{\sigma }^2)$$

那么：

最大似然估计等价于：

最小二乘。

---

OLS 与 BLUE

满足：

高斯-马尔可夫条件：

$$OLS=BLUE$$

---

10. 总结：统计估计的哲学

六种方法其实代表六种不同思想：

最大似然

找最能解释数据的参数。

最大后验

数据重要，但经验也重要。

最小二乘

找距离数据最近的模型。

BLUE

在公平估计中寻找最稳定方案。

贝叶斯

不确定性本身也是信息。

KDE

不假设模型，让数据告诉我们分布。

最终：

统计学的核心并不是计算一个数字。

而是在：

有限信息、不确定世界中，建立一个合理的认知模型。

这也是各种估计方法存在的意义。