14. EM算法

14.1 简介

期望最大化（Expectation-Maximum,简称EM）算法

一种迭代优化策略，由于它的计算方法中每一次迭代都分两步

• 期望步（E步）

• 极大步（M步）

14.2 算法计算流程

14.2.1 算法基本流程

• 初始化参数
• 计算分布
• 重新估计参数
• 重复1~3步，直到参数不发生变化为止

14.3 极大似然估计

根据已知条件，通过极大似然估计，求出未知参数

用来估计模型参数的统计学方法

14.4 EM算法的实现思路

1. 首先根据己经给出的观测数据，估计出模型参数的值
2. 然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计
3. 然后反复迭代，直至最后收敛，迭代结束