机器学习的数学基础(一)——矩阵求导

梦醒沉醉

929人浏览 · 2024-09-18 09:47:57

梦醒沉醉 · 2024-09-18 09:47:57 发布

1. 实值函数的分类

函数类型	向量变元 $\vec{x} \in \mathbb{R}^m$	矩阵变元 $\in \mathbb{R}^{m \times n}$
标量函数 $\in \mathbb{R}$	$f(\vec{x}): \mathbb{R}^m \rightarrow \mathbb{R}$	$\mathbb{R}^{m \times n} \rightarrow \mathbb{R}$
向量函数 $\mathbf{f} \in \mathbb{R}^p$	$\mathbf{f}(\vec{x}): \mathbb{R}^m \rightarrow \mathbb{R}^p$	$\mathbf{f}(X): \mathbb{R}^{m \times n} \rightarrow \mathbb{R}^p$
矩阵函数 $\in \mathbb{R}^{p \times q}$	$F(\vec{x}): \mathbb{R}^m \rightarrow \mathbb{R}^{p \times q}$	$\mathbb{R}^{m \times n} \rightarrow \mathbb{R}^{p \times q}$

2. Jacobian矩阵

$\times m$ 行向量偏导算子记作 $D_{\vec{x}}=\frac{\partial}{\partial \vec{x}^T}=[\frac{\partial}{\partial x_1}, \cdots, \frac{\partial}{\partial x_m}]$ 。

2.1 实值标量函数 $f(\vec{x})$ 和 $f (X)$

$f(\vec{x})$ 在 $\vec{x}$ 的偏导向量：
$\Large D_{\vec{x}}f(\vec{x})=\frac{\partial f(\vec{x})}{\partial \vec{x}^T}=[\frac{f(\vec{x})}{\partial x_1}, \cdots, \frac{\partial f(\vec{x})}{\partial x_m}]$
$f (X)$ 关于 $X$ 的行偏导向量：
$\Large D_{vecX}f(X)=\frac{\partial f(X)}{\partial vec^T(X)}=[\frac{\partial f(X)}{\partial x_{11}}, \cdots, \frac{\partial f(X)}{\partial x_{m1}}, \cdots, \frac{\partial f(X)}{\partial x_{1n}}, \cdots, \frac{\partial f(X)}{\partial x_{mn}}]\\ \quad \\ 其中vec(X)指的是把X按列拉直成列向量$
$f (X)$ 关于 $X$ 的Jacobian矩阵：
$\Large D_Xf(X)=\frac{\partial f(X)}{\partial X^T}=\begin{bmatrix} \frac{\partial f(X)}{\partial x_{11}} & \cdots & \frac{\partial f(X)}{\partial x_{m1}}\\ \vdots & \ddots & \vdots\\ \frac{\partial f(X)}{\partial x_{1n}} & \cdots & \frac{\partial f(X)}{\partial x_{mn}} \end{bmatrix} \in \mathbb{R}^{n \times m}$
f(X)的行偏导向量与Jacobian矩阵的关系：
$\Large D_{vecX}f(X)=(vec([D_Xf(X)]^T))^T$

2.2 实值矩阵函数 $F (X)$

$\times q$ 矩阵函数 $F (X)$ 的Jacobian矩阵：
$\Large D_XF(X)=\begin{bmatrix} \frac{\partial f_{11}}{\partial (vecX)^T}\\ \vdots\\ \frac{\partial f_{p1}}{\partial (vecX)^T}\\ \vdots\\ \frac{\partial f_{1q}}{\partial (vecX)^T}\\ \vdots\\ \frac{\partial f_{pq}}{\partial (vecX)^T} \end{bmatrix}=\begin{bmatrix} \frac{\partial f_{11}}{\partial x_{11}} & \cdots & \frac{\partial f_{11}}{\partial x_{m1}} & \cdots & \frac{\partial f_{11}}{\partial x_{1n}} & \cdots & \frac{\partial f_{11}}{\partial x_{mn}}\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ \frac{\partial f_{p1}}{\partial x_{11}} & \cdots & \frac{\partial f_{p1}}{\partial x_{m1}} & \cdots & \frac{\partial f_{p1}}{\partial x_{1n}} & \cdots & \frac{\partial f_{p1}}{\partial x_{mn}}\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ \frac{\partial f_{1q}}{\partial x_{11}} & \cdots & \frac{\partial f_{1q}}{\partial x_{m1}} & \cdots & \frac{\partial f_{1q}}{\partial x_{1n}} & \cdots & \frac{\partial f_{1q}}{\partial x_{mn}}\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ \frac{\partial f_{pq}}{\partial x_{11}} & \cdots & \frac{\partial f_{pq}}{\partial x_{m1}} & \cdots & \frac{\partial f_{pq}}{\partial x_{1n}} & \cdots &\frac{\partial f_{pq}}{\partial x_{mn}}\\ \end{bmatrix}$

3. 梯度矩阵

$\times 1$ 列向量偏导算子即梯度算子记作 $\triangledown_{\vec{x}}=\frac{\partial}{\partial \vec{x}}=[\frac{\partial}{\partial x_1},\cdots , \frac{\partial}{\partial x_m}]^T$ 。

3.1 实值标量函数 $f(\vec{x})$ 和 $f (X)$

实值标量函数 $f(\vec{x})$ 的梯度向量：
$\Large \triangledown f(\vec{x})=\frac{\partial f(\vec{x})}{\partial \vec{x}}=[\frac{\partial f(\vec{x})}{\partial x_1},\cdots , \frac{\partial f(\vec{x})}{\partial x_m}]^T$
$f (X)$ 关于 $X$ 的梯度向量：
$\Large \triangledown_{vecX}f(X)=\frac{\partial f(X)}{\partial vecX}=[\frac{\partial f(X)}{\partial x_{11}}, \cdots, \frac{\partial f(X)}{\partial x_{m1}}, \cdots, \frac{\partial f(X)}{\partial x_{1n}}, \cdots, \frac{\partial f(X)}{\partial x_{mn}}]^T$
$f (X)$ 关于 $X$ 的梯度矩阵：
$\Large \triangledown_Xf(X)=\frac{\partial f(X)}{\partial X}=\begin{bmatrix} \frac{\partial f(X)}{\partial x_{11}} & \cdots & \frac{\partial f(X)}{\partial x_{1n}}\\ \vdots & \ddots & \vdots\\ \frac{\partial f(X)}{\partial x_{m1}} & \cdots & \frac{\partial f(X)}{\partial x_{mn}} \end{bmatrix}$
$f (X)$ 的梯度向量与梯度矩阵的关系：
$\Large \triangledown_Xf(X)=unvec(\triangledown_{vecX}f(X))$
$\Large \triangledown_Xf(X)=[D_Xf(X)]^T$

3.2 实值矩阵函数 $F (X)$

$F (X)$ 的梯度矩阵：
$\triangledown_XF(X)=\frac{\partial [vecF(X)]^T}{\partial vecX}=(\frac{\partial vecF(X)}{\partial (vecX)^T})^T$
$\Large \triangledown_XF(X)=[D_XF(X)]^T$

4 偏导和梯度的计算

4.1 一些性质

$f (X) = c$ ， $X$ 是 $\times n$ 矩阵，则梯度 $\Large \frac{\partial c}{\partial X}=O_{m \times n}$ 。
$c_1, c_2$ 为实常数，则 $\Large \frac{\partial [c_1f(X)+c_2g(X)]}{\partial X}=c_1 \frac{\partial f(X)}{\partial X}+c_2 \frac{\partial g(X)}{\partial X}$ 。
$\Large \frac{\partial [f(X)g(X)]}{\partial X}=g(X)\frac{\partial f(X)}{\partial X}+f(X)\frac{\partial g(X)}{\partial X}$ 。
$\neq 0$ ，则 $\Large \frac{\partial \frac{f(X)}{g(X)}}{\partial X}=\frac{1}{g^2(X)}[g(X)\frac{\partial f(X)}{\partial X}-f(X)\frac{\partial g(X)}{\partial X}]$ 。
$X$ 为 $\times n$ 矩阵， $y = f (X)$ ，则 $\Large \frac{\partial g[f(X)]}{\partial X}=\frac{\partial g(y)}{\partial y}\frac{\partial f(X)}{\partial X}$ 。
推广： $g [F (X)] = g (F)$ ，其中 $F=[f_{kl}] \in \mathbb{R}^{p \times q}, X=[x_{ij}] \in \mathbb{R}^{m \times n}$ ，则 $\displaystyle [\frac{\partial g(F)}{\partial X}]_{ij}=\frac{\partial g(F)}{\partial x_{ij}}=\sum_{k=1}^p\sum_{l=1}^q \frac{\partial g(F)}{\partial f_{kl}}\frac{\partial f_{kl}}{\partial x_{ij}}$ 。

独立性基本假设：向量或者矩阵变元的元素之间是各自独立的。
$\Large \frac{\partial x_i}{\partial x_j}=\delta_{ij}=\left\{ \begin{aligned} & 1, i=j\\ & 0, 其他 \end{aligned} \right. \quad \quad \frac{\partial x_{kl}}{\partial x_{ij}}=\delta_{ki}\delta_{lj}=\left\{ \begin{aligned} & 1, k=i且l=j\\ & 0, 其他 \end{aligned} \right.$

4.2 例子(随着学习进度补充)

4.2.1

$\Large \frac{\partial \vec{x}^T\vec{\alpha}}{\partial \vec{x}}=\frac{\partial \vec{\alpha}^T\vec{x}}{\partial \vec{x}}=\vec{\alpha}\quad(\vec{\alpha}与\vec{x}无关)$
$\Large \vec{x}^T\vec{\alpha}=\vec{\alpha}^T\vec{x}=\alpha_1x_1+\cdots+\alpha_nx_n\\ \quad \\ \Large \frac{\partial \vec{x}^T\vec{\alpha}}{\partial x_i}=\frac{\partial \vec{\alpha}^T\vec{x}}{\partial x_i}=\alpha_i\\ \quad \\ \frac{\partial \vec{x}^T\vec{\alpha}}{\partial \vec{x}}=\frac{\partial \vec{\alpha}^T\vec{x}}{\partial \vec{x}}=[\alpha_1, \cdots, \alpha_n]^T=\vec{\alpha}$

4.2.2

$\Large \frac{\partial \vec{x}^TA\vec{x}}{\partial \vec{x}}=(A+A^T)\vec{x}\quad(A与\vec{x}无关)$
$\Large \vec{x}^TA\vec{x}=\sum_{i=1}^n \sum_{j=1}^na_{ij}x_ix_j\\ \quad \\ \begin{aligned} \Large \frac{\partial \vec{x}^TA\vec{x}}{\partial x_k}&=\frac{\partial \displaystyle(\sum_{i=1}^n \sum_{j=1}^na_{ij}x_ix_j)}{\partial x_k}\\ &=\sum_{j=1}^na_{kj}x_j+\sum_{i=1}^na_{ik}x_i(a_{kj}是A的第k行, a_{ik}是A的第k列)\\ &=(A\vec{x})_k+(A^T\vec{x})_k\\ &=[(A+A^T)\vec{x}]_k \end{aligned}$

4.2.3

$\Large \frac{\partial A\vec{x}}{\partial \vec{x}^T}=A$
$\begin{aligned} \Large (A\vec{x})_i&\Large =\sum_{j=1}^na_{ij}x_j\quad\frac{\partial (A\vec{x})_i}{\partial x_j}=a_{ij}\\ \Large \frac{\partial A\vec{x}}{\partial \vec{x}^T}&=\Large [\frac{\partial (A\vec{x})_1}{\partial \vec{x}}, \cdots, \frac{\partial (A\vec{x})_m}{\partial \vec{x}}]^T\\ &=\Large \begin{bmatrix} \frac{\partial (A\vec{x})_1}{\partial x_1}&\frac{\partial (A\vec{x})_1}{\partial x_2} & \cdots &\frac{\partial (A\vec{x})_1}{\partial x_n} \\ \vdots & \vdots & \vdots & \vdots\\ \frac{\partial (A\vec{x})_m}{\partial x_1}&\frac{\partial (A\vec{x})_m}{\partial x_2} & \cdots &\frac{\partial (A\vec{x})_m}{\partial x_n} \end{bmatrix}\\ &=\begin{bmatrix} a_{11} &a_{12} & \cdots &a_{1n} \\ \vdots & \vdots & \vdots & \vdots\\ a_{m1}&a_{m2} & \cdots &a_{mn} \end{bmatrix}\\ &=\Large A. \end{aligned}$

参考

张贤达矩阵分析与应用（第二版）

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

昨天手搓的50行RAG检索引擎，今天接上大模型做成问答机器人：Python实战第2期

大模型 API 用 DeepSeek，OpenAI 兼容接口，价格便宜，今天这点实验花不了几毛钱。先看最终效果：你问"RAG和微调有什么区别"，机器人先检索出两篇最相关的文档，把它们塞进 prompt，大模型照着文档组织成自然语言回答你。你问"RAG和微调有什么区别"，它能挑出最相关的文档，吐出相似度分数。第三步，调大模型 API。只根据下面提供的参考文档回答问题，文档里没有的信息就直说不知道，不

DAMO开发者矩阵

ROS2机器人开发入门｜第一课：ROS2核心认知与行业定位

ROS2取代ROS1是机器人产业发展的必然趋势。相较于科研导向的ROS1，ROS2基于去中心化DDS架构，具备高可靠性、确定性实时能力与跨平台支持，全面满足工业量产对稳定性、安全性与可维护性的要求。其原生支持QoS策略、生命周期管理及多设备协同，已成移动机器人、自动驾驶、工业机械臂等领域的标准开发框架。掌握ROS2不仅是技术升级，更是进入智能机器人产业的核心门槛。