多元高斯分布

以一个例子引入：

把这俩个特征单独拿出来都是符合高斯分布的，现有一个绿色的异常点，我们很难从x1和x2这俩个维度下去判别是否是异常点。
因为从左图看，正常数据是分布在椭圆范围内，我们使用的异常检测算法是从中心区域向外以正圆的形式扩展的，当我们碰到左上角的绿色点时，很有可能就处于正常数据等同的同心圆内，所以就不能判定异常。

所以我们需要改良版的异常检测算法—-多元高斯分布

多元高斯引入

在多元高斯分布中，不要把模型  p(x1)  <script type="math/tex" id="MathJax-Element-2561">\ p(x_1)\ </script>,  p(x2)  <script type="math/tex" id="MathJax-Element-2562">\ p(x_2)\ </script>,…,  p(xn)  <script type="math/tex" id="MathJax-Element-2563">\ p(x_n)\ </script>分开，而要建立  p(x)  <script type="math/tex" id="MathJax-Element-2564">\ p(x)\ </script>整体的模型。
多元高斯分布的参数包括向量 μ  <script type="math/tex" id="MathJax-Element-2565"> \mu \ </script>和矩阵 ∑  <script type="math/tex" id="MathJax-Element-2566">\sum\ </script>。具体公式如上图。
我们关键在于弄清综合后的模型  p(x)  <script type="math/tex" id="MathJax-Element-2567">\ p(x)\ </script>。

---

多元高斯图像

下面给出一些多元高斯模型的图像，有助理解。

矩阵 ∑  <script type="math/tex" id="MathJax-Element-2506">\sum\ </script>中元素对应x1和x2，矩阵 ∑  <script type="math/tex" id="MathJax-Element-2507">\sum\ </script>的改变就是x1和x2的改变。

还可以通过改变非对角线元素进行建模，得到不同的高斯分布。

当对角线元素设为负数时，图像的方向会发生变化。

同理，改变 μ  <script type="math/tex" id="MathJax-Element-2508"> \mu\ </script>也就是移动分布中心。

---

多元高斯分布解决异常检测

多元高斯分布定义

改变俩个参数 μ  <script type="math/tex" id="MathJax-Element-2631"> \mu\ </script>和 ∑  <script type="math/tex" id="MathJax-Element-2632">\sum\ </script>，会得到不同的高斯分布，这俩个参数的计算如上图所示。

---

多元高斯分布检测异常

1、首先用训练集拟合模型  p(x)  <script type="math/tex" id="MathJax-Element-2682"> \ p(x)\ </script>
2、对于新数据，计算  p(x)  <script type="math/tex" id="MathJax-Element-2683"> \ p(x)\ </script>
3、判定是否  p(x)  <script type="math/tex" id="MathJax-Element-2684"> \ p(x)\ </script>< ϵ  <script type="math/tex" id="MathJax-Element-2685">\epsilon\ </script>

---

多元高斯模型和原始模型关系

原始模型是多个分模型相乘在一起的。原始模型可看作是高斯模型的一个特例。在协方差矩阵 ∑  <script type="math/tex" id="MathJax-Element-2701">\sum\ </script>的非对角线元素都为0的情况下，这两者是相同的。

---

原始模型和多元高斯模型的选择

原始模型	多元高斯模型
手动选择新特征	自动捕捉不同变量之间的相关性
计算代价更小	计算更加复杂
m很小时也能work	必须满足m>n，且 ∑  <script type="math/tex" id="MathJax-Element-2730">\sum\ </script>必须是不可逆的，即m要远大于n，至少满足m>10n

注意： ∑  <script type="math/tex" id="MathJax-Element-2731">\sum\ </script>是奇异矩阵可能的原因

1、 m>n这个关系没有满足。
2、有冗余特征，比如出现有x1=x2，或者x3=x4+x5，这些都是冗余特征，因为x1和x3并没有包含额外的信息。