【白话机器学习系列】白话特征向量
白话特征向量

一个方阵 AAA 与列向量 vvv 的乘积会生成一个新的列向量。这个新向量通常与原向量有着不同的方向,矩阵在这里代表一个线性变换。然而,某些向量会保持其原始方向。我们称这种向量为矩阵 AAA 的特征向量(eigenvector)。
在本文中,我们将探讨特征向量、特征值和矩阵的特征方程。并且以 2 维方阵为例,教大家如何计算矩阵的特征向量和特征值。
文章目录
-
- 举个例子
- 特征向量的定义
- 特征方程
- 求 2×22 \times 22×2 矩阵的特征值
- 利用特征值求特征向量
举个例子
考虑矩阵 TTT:
T=(1322) T = \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} T=(1232)
如果将矩阵 TTT 乘以向量 (2,0)(2,0)(2,0) 会得到一个新的向量 (2,4)(2,4)(2,4):
(1322)(20)=(24) \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} \begin{pmatrix} 2 \\ 0 \end{pmatrix}=\begin{pmatrix} 2 \\ 4 \end{pmatrix} (1232)(20)=(24)
如下图所示。左图中原始向量 (2,0)(2, 0)(2,0) 用蓝色表示。右图展示了由上述矩阵 TTT 变换后的同一组向量:
![]() |
![]() |
|---|
一般来讲,右边每个变换后的向量与左边的原始向量相比,其大小和方向都有所不同。
有两个特殊的向量在经过 TTT 矩阵变换后方向不变,这两个向量是 (1,1)(1, 1)(1,1) 和 (−3,2)(-3, 2)(−3,2):
![]() |
![]() |
|---|
这些向量被称为 TTT 的特征向量。黄色向量 (1,1)(1,1)(1,1) 被变换为向量 (4,4)(4,4)(4,4)。变换后的向量与原始向量指向相同的方向,但长度是原来的 444 倍。我们说向量 (1,1)(1,1)(1,1) 是 TTT 的一个特征向量,其特征值为 444。
红色向量 (−3,2)(-3, 2)(−3,2) 被变换为向量 (3,−2)(3,-2)(3,−2)。它指向与原始向量方向完全相反的方向,换种说法是说它具有相同的方向但长度为负。向量 (3,−2)(3, -2)(3,−2) 等于 (−3,2)(-3, 2)(−3,2) 乘以 −1-1−1,因此我们说这个向量也是 TTT 的一个特征向量,其特征值为 −1-1−1。
特征向量的定义
我们用下列方程定义特征向量:
Av=λv Av = \lambda v Av=λv
其中 AAA 是一个 nnn 阶方阵(上述示例中是一个 222 阶方阵),vvv 是一个 nnn 阶向量,而 λ\lambdaλ 是一个标量常数。
如果 vvv 是 AAA 的一个特征向量,则 λ\lambdaλ 是对应 AAA 的特征向量 vvv 的一个特征值。
通常,特征值的个数等于矩阵的阶数(因此在前面的示例中,有两个特征值,因为它是一个 222 阶矩阵)。每个特征值都与一个特征向量相关联,但请记住,如果 vvv 是一个特征向量,那么 vvv 的任何标量倍数也是一个特征向量。重要的只是向量的方向。
此外,有时也可能出现合并情况。例如,一个 222 阶矩阵可能只有一个特征值,对应于两个不共线的不同特征向量。
特征方程
根据上面定义的特征向量的方程 Av=λvAv = \lambda vAv=λv,我们可以利用单位矩阵来寻找特征值。
单位矩阵是一个方阵,其中主对角线上的每个元素都是 111,所有其他元素都是 000。如果我们用同阶的单位矩阵乘以任何向量 vvv,它会使向量保持不变:
Iv=v Iv=v Iv=v
因此,我们可以将原方程右侧的 vvv 替换为 IxIxIx,方程仍然成立:
Av=λIv Av = \lambda Iv Av=λIv
然后将两项都移到方程的左侧并提取公因子 vvv ,整理后得到下面的方程。
(A−λI)v=0 (A-\lambda I)v = 0 (A−λI)v=0
注意,上面方程中,000 代表零向量,而不是标量值 000。例如,如果 vvv 是 222 阶向量,则 000 表示 (0,0)(0, 0)(0,0)。
这表明矩阵 (A−λI)(A-\lambda I)(A−λI) 总能将向量 vvv 变换为 000,这意味着其行列式必须为 000。因此:
∣A−λI∣=0 \vert A-\lambda I \vert = 0 ∣A−λI∣=0
这便是矩阵 AAA 的特征方程。我们在这里不进行证明,但这个方程的解就是 AAA 的特征值,从这些特征值我们可以找到对应的特征向量。
求 2×22 \times 22×2 矩阵的特征值
让我们用上面介绍的特征方程来求矩阵 A=(1322)A=\begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix}A=(1232) 的特征向量。其特征方程如下:
∣A−λI∣=∣(1322)−λ(1011)∣=∣(1322)−(λ01λ)∣=∣(1−λ322−λ)∣ \begin{aligned} \vert A-\lambda I \vert &= \Bigg\vert \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} - \lambda \begin{pmatrix} 1 &0 \\ 1 &1 \end{pmatrix} \Bigg\vert \\ &=\Bigg\vert \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} - \begin{pmatrix} \lambda &0 \\ 1 &\lambda \end{pmatrix} \Bigg\vert \\ &= \Bigg\vert \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix}\Bigg\vert \end{aligned} ∣A−λI∣=∣∣∣∣∣(1232)−λ(1101)∣∣∣∣∣=∣∣∣∣∣(1232)−(λ10λ)∣∣∣∣∣=∣∣∣∣∣(1−λ232−λ)∣∣∣∣∣
根据 222 阶矩阵的行列式计算公式 ∣abcd∣=ad−bc\begin{vmatrix}a & b \\ c & d\end{vmatrix}=ad-bc∣∣∣∣acbd∣∣∣∣=ad−bc,可得
∣A−λI∣=(1−λ)(2−λ)−2⋅3=λ2−3λ−4 \begin{aligned} \vert A-\lambda I \vert =& (1-\lambda)(2-\lambda)-2 \cdot 3 \\ =&\lambda^2-3\lambda-4 \end{aligned} ∣A−λI∣==(1−λ)(2−λ)−2⋅3λ2−3λ−4
解二次方程 λ2−3λ−4=0\lambda^2-3\lambda-4 = 0λ2−3λ−4=0 得,
λ=−1λ=4 \lambda = -1 \qquad \lambda=4 λ=−1λ=4
这就是矩阵 AAA 的特征值。
利用特征值求特征向量
我们利用 (A−λI)v=0(A-\lambda I)v = 0(A−λI)v=0 求特征向量。
上面我们已经推导出 A−λI=(1−λ322−λ)A-\lambda I = \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix}A−λI=(1−λ232−λ) 。代入上面公式可得:
(A−λI)v=(1−λ322−λ)(xy)=0 (A-\lambda I)v = \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0 (A−λI)v=(1−λ232−λ)(xy)=0
将上一步求得的特征值 λ=−1,λ=4\lambda = -1 , \lambda=4λ=−1,λ=4 分别代入可得:
-
当 λ=−1\lambda=-1λ=−1 时,(2322)(xy)=0\begin{pmatrix} 2 &3 \\ 2 &2 \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0(2232)(xy)=0,得到如下二元一次方程组
{2x+3y=02x+3y=0 \begin{cases} 2x+3y=0 \\ 2x+3y=0 \end{cases} {2x+3y=02x+3y=0
这个两个方程是线性相关的(共线的),因此有无数组解,我们只能得到一个关系 x=−23yx=-\frac{2}{3}yx=−32y。这是一条过原点,斜率为 −23-\frac{2}{3}−32 的直线方程。我们的特征向量可以是该线上的任何向量。
在一开始,我们通过图形的方式展示了向量 (−3,2)(-3, 2)(−3,2) 是一个特征向量,这个向量在此直线上。但我们也看到,任何具有相同斜率的向量也是特征向量。因此,例如,(−6,4)(-6, 4)(−6,4) 也是一个特征向量(并且它也满足相同的关系)。存在无数具有不同长度但相同斜率的向量。我们可以选择任何向量,但通常选择具有整数分量的最小向量(如果存在这样的向量)。
-
当 λ=4\lambda=4λ=4 时,(−332−2)(xy)=0\begin{pmatrix} -3 &3 \\ 2 &-2 \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0(−323−2)(xy)=0,得到如下二元一次方程组
{−3x+3y=0 2x−2y=0 \begin{cases} -3x+3y=0 \\ \enspace\:2x-2y=0 \end{cases} {−3x+3y=02x−2y=0
这个两个方程也是线性相关的(共线的),因此有无数组解,我们得到关系 x=yx=yx=y。这同样是一条通原点,斜率为 111 的直线。因此,(1,1)(1, 1)(1,1) 是一个特征向量,(2,2)(2, 2)(2,2) 等也是特征向量。




所有评论(0)