深度学习基础 - 叉积、点积、余弦相似性、马氏距离

flyfish

叉积（Cross product）、向量积（Vector product）、叉乘

是对三维空间中的两个向量的二元运算，使用符号 $\times$。与点积不同，它的运算结果是向量。对于线性无关的两个向量$\mathbf{a}$ 和$\mathbf{b}$，它们的叉积写作写作$\mathbf{a}\times \mathbf{b}$

是 $\mathbf{a}$ 和$\mathbf{b}$ 所在平面的法线向量，与$\mathbf{a}$ 和$\mathbf{b}$ 都垂直。

叉积的模长等于以两个向量为边的平行四边形的面积，叉积可以定义为：
$$\mathbf{a}\times \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \sin (\theta )\mathbf{n}$$

其中 $\theta$ 表示$\mathbf{a}$ 和 $\mathbf{b}$ 在它们所定义的平面上的夹角
$\left(0^{\circ }\le \theta \le 180^{\circ }\right)$
$\Vert \mathbf{a}\Vert$和$\Vert \mathbf{b}\Vert$是向量$\mathbf{a}$ 和 $\mathbf{b}$ 的模长，而 n 则是一个与 $\mathbf{a}、\mathbf{b}$ 所构成的平面垂直的单位向量

如果以向量a 和 b 为边构成一个平行四边形，那么这两个向量叉积的模长与这个平行四边形的正面积相等
$$\Vert \mathbf{a}\times \mathbf{b}\Vert =\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \sin \theta$$

点积（Dot Product）、数量积、标量积、点乘

点积的名称源自表示点乘运算的点号$(a\bullet b)$，标量积的叫法则是在强调其运算结果为标量而非向量。
两个向量$\vec{a}=\left[a_1,a_2,\cdots ,a_n\right]$和$\vec{b}=\left[b_1,b_2,\cdots ,b_n\right]$的点积定义为：

$$\vec{a}\cdot \vec{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

在欧几里得空间中，点积可以直观地定义为

$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|\cos \theta$$
$|\vec{x}|$ 表示 $\vec{x}$的模（长度）， $\theta$ 表示两个向量之间的角度。
$$\cos \theta =\frac{\mathbf{a}\cdot \mathbf{b}}{|\vec{a}||\vec{b}|}$$
以$\vec{a},\vec{b},\vec{c}$为边构造一个三角形，采用余弦定理，有
$$|\vec{c}{|}^2=|\vec{a}{|}^2+|\vec{b}{|}^2-2|\vec{a}||\vec{b}|\cos \theta$$
$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|\cos \theta$$
余弦相似性（Cosine similarity）有的地方叫余弦距离
余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。

0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。

从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。

两个向量有相同的指向时，余弦相似度的值为1；

两个向量夹角为90°时，余弦相似度的值为0；

两个向量指向完全相反的方向时，余弦相似度的值为-1。

两个向量间的余弦值可以通过点积公式求出
$$\mathbf{a}\cdot \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \cos \theta$$

给定两个属性向量， A 和B，其余弦相似性$\theta$由点积和向量长度给出

$$=\cos (\theta )=\frac{A\cdot B}{\Vert A\Vert \Vert B\Vert }=\frac{{\sum }_{i=1}^n{A}_i\times B_i}{\sqrt{{\sum }_{i=1}^n{\left(A_i\right)}^2}\times \sqrt{{\sum }_{i=1}^n{\left(B_i\right)}^2}}$$

这里的$A_i$和 $B_i$分别代表向量 A和B的各分量。

马哈拉诺比斯距离（Mahalanobis distance）、马氏距离

对于一个均值为
$\mu ={\left({\mu }_1,{\mu }_2,{\mu }_3,\dots ,{\mu }_p\right)}^T$ ，协方差矩阵为 $\Sigma$的多变量向量$x={\left(x_1,x_2,x_3,\dots ,x_p\right)}^T$
其马氏距离为
$$D_M(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

马哈拉诺比斯距离也可以定义为两个服从同一分布并且其协方差矩阵为 $\Sigma$的随机变量 $\vec{x}$与 $\vec{y}$的差异程度：
$$d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y}{)}^T{\Sigma }^{-1}(\vec{x}-\vec{y})}$$

如果协方差矩阵为单位矩阵，马哈拉诺比斯距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。

$$d(\vec{x},\vec{y})=\sqrt{\sum _{i=1}^p\frac{{\left(x_i-y_i\right)}^2}{{\sigma }_i^2}}$$