贝叶斯决策

1.概率解析

1.1先验概率和后验概率

先验概率 (Prior Probability)：
在贝叶斯统计推断中，先验概率是在收集新数据之前事件发生的概率。 这是在进行实验之前根据当前知识对结果可能性进行的最佳理性评估。

先验概率是事件还没有发生，根据以往的经验来判断事件发生的概率。

后验概率(Posterior Probability):
在贝叶斯统计中，后验概率是在考虑新信息之后事件发生的修正或更新概率。 后验概率通过使用贝叶斯定理更新先验概率来计算。

用统计术语来说，后验概率是假设事件B已经发生的情况下事件A发生的概率。

$$P(A|B)=P(A\cap B)/P(B)=P(A)\ast P(B|A)/P(B)$$

1.2联合概率

可以理解成A和B一同发生的概率，就是A发生的概率，乘以在A条件下B发生的概率。
因此同理我们可以推导出公式：
$$P(A,B)=P(A|B)\ast P(B)=P(A\cap B)$$

2.贝叶斯公式

（后验概率）
$$P(w|x)=P(w)\ast P(x|w)/P(x)$$

3.最小错误率贝叶斯决策

对于具有特征矢量x的待分类样本，如果
对于所有的 j！= k:
$$P(wk|x)>P(wj|x)或者P(wk)\ast P(x|wk)>P(wj)\ast P(x|wj)$$
则将其分到wk类，分类错误率最小。

将待分类分至后验概率大的那一类，样本分类错误率最小

4.最小风险贝叶斯决策

4.1分类错误代价（Loss）λ

若将 wj 类分到 wi类并作出αi的行动，
则 λij = λ(αi | wj)

4.2条件风险概率

4.2决策规则

4.3 0-1损失函数

最小风险决策：
$$若p(x|w1)/p(x|w2)>p(w2)/p(w1)则将其归为w1类$$

5.判别函数

5.1判别函数

—表征模式属于每一类的广义似然度
特征空间：
—表征模式的空间
决策面：
—特征空间中两类判别函数相等的点的集合
$$g(x)=p(w1|x)-p(w2|x)$$

当g(x)=0的时候点的集合就是决策面

5.2高斯概率密度下的判别函数

此处p(ωi | x)代表高斯概率密度函数

Case1 ∑k=I*σ^2

①

②

高斯概率密度决策面
将两判别函数相减并化简得：
$$(wk-wi)x+(wk0-wi0)=0$$
转化为 w(x-x0)=0

w 为决策面法向量，决定决策面的方向；
x0 为决策面距离原点的距离，决定决策面的位置；

• 先验概率相等时[p(w1)=p(w2)]
  化简得$$x0=1/2（\mu k-\mu i）$$
• 先验概率不相等时
  化简后可知决策面移向先验概率小的类别

Case 2 ∑k=∑

分类函数依旧为线性函数，线性分类器

决策面

Case 3 ∑k=arbitrary