线性代数|机器学习-P5特征值和特征向量

取个名字真难呐

1885人浏览 · 2024-06-02 22:14:29

取个名字真难呐 · 2024-06-02 22:14:29 发布

文章目录

1. 特征值和特征向量
- 1.1 特征向量
- 1.2 向量分解
2. 矩阵相似
3.对称矩阵
4. Python 代码

1. 特征值和特征向量

1.1 特征向量

假设有一个n行n列的方阵A，有 n 个不相同的特征值为 $\lambda$ ,特征向量为 $x_1,x_2,\cdots,x_n$ .等式如下：
$\begin{equation} Ax_i=\lambda_ix_i,i=1,\cdots,n\rightarrow A^2x=\lambda^2x \end{equation}$

特征向量的好处在于，对于向量x来说， $Ax=\lambda x$ ，通过左乘矩阵A，还是不改变向量的方向，只是按照 $\lambda$ 倍进行缩放。
$\begin{equation} A^kx=\lambda^kx \end{equation}$
对于微分方程来说
$\begin{equation} \frac{\mathrm{d}u}{\mathrm{d}t}=Au，\mathrm{e}^{At}=\mathrm{e}^{\lambda t} \end{equation}$
通解表示如下：
$\begin{equation} u(t)=Se^{\Lambda t} S^{-1} u(0)=e^{At}u(0) \end{equation}$

1.2 向量分解

假设矩阵A有n个线性无关的特征向量，那么对于任意矩阵v来说，可以分解为特征向量的线性组合
$\begin{equation} v=c_1x_1+c_2x_2+\cdots+c_nx_n \end{equation}$

两边同时乘以 $A^k,A^{k}x=\lambda^kx$ :
$\begin{equation} A^{k}v=c_1\lambda_1^{k}x_1+c_2\lambda_2^{k}x_2+\cdots+c_n\lambda_n^{k}x_n \end{equation}$
特征向量在差分方程上的应用
$\begin{equation} u_{k+1}=Au_k\rightarrow u_k=A^ku_0=\lambda^kxu_0 \end{equation}$

2. 矩阵相似

2.1 特征值求解法-相似

假设我们有两个矩阵A,B如果存在一个可逆矩阵M，满足如下关系，可推出A相似于B
$\begin{equation} B=M^{-1}AM\rightarrow B\sim A\rightarrow A和B有相同的特征值 \end{equation}$

假设矩阵A的特征值为 $\lambda$ ,特征向量为x,
$\begin{equation} |B-\lambda I|=|M^{-1}AM-\lambda I|=|M^{-1}AM-M^{-1}\lambda M|=|M^{-1}||A-\lambda I||M|=|A-\lambda I| \end{equation}$
所以可得如下：
$\begin{equation} B \sim A \Rightarrow \lambda_A=\lambda_B \end{equation}$
Matlab中如何求解特征值
对于给定的矩阵A来说，我们用一个可逆矩阵 $M_1$ 右乘矩阵A，左乘 $M_1^{-1}$ ，使得矩阵A逐渐变成上三角矩阵，通过不断地左右乘 $M 1, M 2$ ,最后得到一个上三角矩阵B，这样我们就通过相似的形式得到主对角线上的特征值了。
$\begin{equation} B={(M_n\cdots M_2M_1)}^{-1}A{(M_n\cdots M_2M_1)}\rightarrow B_{UpTriangle}\sim A\rightarrow A和B有相同的特征值 \end{equation}$

2.2 特殊特征值

假设我们有两个矩阵A,B,令AB的特征值为 $\lambda_{AB}$ ,特征向量为x,令BA的特征值为 $\lambda_{BA}$ ,证明 $\lambda_{AB}=\lambda_{BA}$

根据定义可得：
$\begin{equation} ABx=\lambda_{AB}x \end{equation}$
两边同时乘以B可得：
$\begin{equation} BABx=\lambda_{AB}Bx\rightarrow (BA)(Bx)=\lambda_{AB}(Bx)\rightarrow \lambda_{AB}=\lambda_{BA} \end{equation}$

2.3 反对称矩阵

假设我们有一个矩阵A表示如下：
$\begin{equation} A=\begin{bmatrix} 0&1\\\\ -1&0 \end{bmatrix}\rightarrow A^T=-A \end{equation}$

矩阵A实现的功能是将向量x顺时针旋转90°。
求矩阵A的特征值和特征向量如下：
$\begin{equation} \lambda_1=i,v_1=\begin{bmatrix}1\\\\i\end{bmatrix};\lambda_2=-i,v_1=\begin{bmatrix}1\\\\-i\end{bmatrix};S=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix};\Lambda=\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}; \end{equation}$
分解A如下：
$\begin{equation} A=S\Lambda S^{-1}\Rightarrow \begin{bmatrix}0&1\\\\-1&0\end{bmatrix}=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}^{-1}; \end{equation}$

3.对称矩阵

对称矩阵具有实数特征值和正交的特征向量。我们定义矩阵A如下：
$\begin{equation} A=\begin{bmatrix}0&1\\\\1&0\end{bmatrix}\rightarrow \lambda_1=1,v_1=\begin{bmatrix}1\\\\1\end{bmatrix};\lambda_2=-1,v_2=\begin{bmatrix}-1\\\\1\end{bmatrix}; \end{equation}$

可得如下：
$\begin{equation} A=S\Lambda S^{-1}\rightarrow \begin{bmatrix}0&1\\\\1&0\end{bmatrix}= \begin{bmatrix}1&1\\\\1&-1\end{bmatrix}\begin{bmatrix}1&0\\\\0&-1\end{bmatrix}\begin{bmatrix}1&1\\\\1&-1\end{bmatrix}^{-1} \end{equation}$

4. Python 代码

代码：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @FileName  :EValueAndEVector.py
# @Time      :2024/10/19 5:27
# @Author    :Jason Zhang
import numpy as np

np.set_printoptions(suppress=True, precision=3)


class NpEigen(object):
    def __init__(self, Matrix):
        self.matrix = Matrix
        self.N = self.matrix.shape[0]
        self.evalue = np.zeros_like(self.matrix)
        self.evector = np.zeros_like(self.matrix)
        self.init_method()

    def init_method(self):
        self.get_Evalue()
        self.ge_Evector()

    def get_Evalue(self):
        my_evalue, _ = np.linalg.eig(self.matrix)
        my_evalue = np.diag(my_evalue)
        self.evalue = my_evalue
        return my_evalue

    def ge_Evector(self):
        _, my_evector = np.linalg.eig(self.matrix)
        self.evector = my_evector
        return my_evector

    def get_Ak(self, power_k: int):
        temp = self.matrix
        for i in range(power_k):
            temp = self.matrix @ temp

        Ak_evalue, _ = np.linalg.eig(temp)
        Ak_evalue = np.diag(Ak_evalue)
        print(f"A_evalue=\n{self.evalue}")
        A_eigen_power = np.power(self.evalue, power_k + 1)
        print(f"A_eigen_power=\n{A_eigen_power}")
        print(f"Ak_evalue=\n{Ak_evalue}")
        print(f"A_eigen_power is {np.allclose(A_eigen_power, Ak_evalue)} with Ak_evalue")


class SimilarMatrix(object):
    def __init__(self, matrixA, matrixB):
        self.matrixa = matrixA
        self.matrixb = matrixB
        self.matrixAB = self.matrixa @ self.matrixb
        self.matrixBA = self.matrixb @ self.matrixa

    def get_result(self):
        AB_evalue, _ = np.linalg.eig(self.matrixAB)
        AB_evalue = np.diag(AB_evalue)

        BA_evalue, _ = np.linalg.eig(self.matrixBA)
        BA_evalue = np.diag(BA_evalue)
        same = np.allclose(BA_evalue, AB_evalue)
        print("*" * 100)
        print(f"BA_evalue=\n{BA_evalue}\n"
              f"AB_evalue=\n{AB_evalue}\n"
              f"BA_evalue is {same} same for AB_evalue")
        print("*" * 100)


if __name__ == "__main__":
    run_code = 0
    A = np.arange(9).reshape((3, 3))
    B = np.random.randn(3, 3)
    A_eigen = NpEigen(A)
    A_eigen.get_Ak(3)
    ABSimilar = SimilarMatrix(A, B)
    ABSimilar.get_result()
    A_sample = [np.array([[0, 1], [-1, 0]]), np.array([[0, 1], [1, 0]])]
    for i in A_sample:
        Ant_S = i
        Ant_S_evalue, Ant_S_evector = np.linalg.eig(Ant_S)
        Ant_S_evalue = np.diag(Ant_S_evalue)
        Ant_S_evector_inv = np.linalg.inv(Ant_S_evector)
        Check_Ant_S = Ant_S_evector @ Ant_S_evalue @ Ant_S_evector_inv
        print("*"*100)
        print(f"Ant_S=\n{Ant_S}")
        print(f"Check_Ant_S =\n{Check_Ant_S}")
        print(f"Ant_S is {np.allclose(Ant_S, Check_Ant_S)} same for Check_Ant_S")
        print("*"*100)
        print("\n")

结果：

A_evalue=
[[13.348  0.     0.   ]
 [ 0.    -1.348  0.   ]
 [ 0.     0.    -0.   ]]
A_eigen_power=
[[31748.694     0.        0.   ]
 [    0.        3.306     0.   ]
 [    0.        0.        0.   ]]
Ak_evalue=
[[31748.694     0.        0.   ]
 [    0.        3.306     0.   ]
 [    0.        0.        0.   ]]
A_eigen_power is True with Ak_evalue
****************************************************************************************************
BA_evalue=
[[32.874  0.     0.   ]
 [ 0.    -0.661  0.   ]
 [ 0.     0.     0.   ]]
AB_evalue=
[[32.874  0.     0.   ]
 [ 0.    -0.661  0.   ]
 [ 0.     0.     0.   ]]
BA_evalue is True same for AB_evalue
****************************************************************************************************
****************************************************************************************************
Ant_S=
[[ 0  1]
 [-1  0]]
Check_Ant_S =
[[ 0.+0.j  1.+0.j]
 [-1.+0.j  0.+0.j]]
Ant_S is True same for Check_Ant_S
****************************************************************************************************


****************************************************************************************************
Ant_S=
[[0 1]
 [1 0]]
Check_Ant_S =
[[0. 1.]
 [1. 0.]]
Ant_S is True same for Check_Ant_S
****************************************************************************************************