前提

估计类条件概率的一种常用策略就是先假定其具有某种确定的概率分布形式，在基于训练样本进行估计。

处理方式

关于类别c<script type="math/tex" id="MathJax-Element-220">c</script>的类条件概率为P(x∣c)<script type="math/tex" id="MathJax-Element-221">P(\mathbf{x}\mid c)</script>,假设P(x∣c)<script type="math/tex" id="MathJax-Element-222">P(\mathbf{x}\mid c)</script>具有确定的形式，而且被参数向量θc<script type="math/tex" id="MathJax-Element-223">\boldsymbol{\theta_c}</script>唯一确定。

任务

利用训练集合D<script type="math/tex" id="MathJax-Element-236">D</script>估计参数θc<script type="math/tex" id="MathJax-Element-237">\boldsymbol{\theta_c}</script>.并且记$$

两种学派

频率主义学派

这个学派认为参数虽然是未知的，但是参数本身是一个客观存在的固定值。因此可以通过优化似然函数等准则来确定参数值。

贝叶斯学派

这个学派认为参数是未被观察到的随机变量，其本身也可以有分布，因此可以假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布。

极大似然估计

极大似然估计(Maximum Likelihood Estimation)，源自频率主义学派。

方法

令Dc<script type="math/tex" id="MathJax-Element-1372">D_c</script>表示训练集合D<script type="math/tex" id="MathJax-Element-1373">D</script>中第c<script type="math/tex" id="MathJax-Element-1374">c</script>类样本组成的集合，假设这些样本是独立同分布的。则参数θc<script type="math/tex" id="MathJax-Element-1375">\boldsymbol{\theta_c}</script>对于数据Dc<script type="math/tex" id="MathJax-Element-1376">D_c</script>的似然是

<script type="math/tex; mode=display" id="MathJax-Element-1377"> P(D_c\mid \boldsymbol{\theta_c})=\Pi_{\mathbf{x}\in D_c}P(\mathbf{x}\mid \boldsymbol{\theta_c}) </script>
对数似然
连乘容易导致下溢
故使用对数似然
<script type="math/tex; mode=display" id="MathJax-Element-1378"> LL(\boldsymbol{\theta_c})=\log{P(D_c\mid \boldsymbol{\theta_c})}=\sum_{\mathbf{x}\in D_c}\log P(\mathbf{x}\mid \boldsymbol{\theta_c}) </script>
此时参数θc<script type="math/tex" id="MathJax-Element-1379">\boldsymbol{\theta}_c</script>的极大似然估计θ^c<script type="math/tex" id="MathJax-Element-1380">\hat{\boldsymbol{\theta}}_c</script>
<script type="math/tex; mode=display" id="MathJax-Element-1381"> \hat{\boldsymbol{\theta}}_c=\mathop{\arg\max}_{\boldsymbol{\theta}_c}LL(\boldsymbol{\theta}_c) </script>