A.2 导数

向量 $\mathbf{a}$ 相对于标量 $x$ 的导数(derivative)，以及 $x$ 相对于 $\mathbf{a}$ 的导数都是向量，其第 $i$ 个分量分别为

$${\left(\frac{\partial \mathbf{a}}{\partial x}\right)}_i=\frac{\partial a_i}{\partial x},\text{\hspace{1em}(A.16)}$$

$${\left(\frac{\partial x}{\partial \mathbf{a}}\right)}_i=\frac{\partial x}{\partial a_i}.\text{\hspace{1em}(A.17)}$$

类似的，矩阵 $\mathbf{A}$ 对于标量 $x$ 的导数，以及 $x$ 对于 $\mathbf{A}$ 的导数都是矩阵，其第 i$ 行第 $j$ 列上的元素分别为

$${\left(\frac{\partial \mathbf{A}}{\partial x}\right)}_{ij}=\frac{\partial A_{ij}}{\partial x},\text{\hspace{1em}(A.18)}$$

$${\left(\frac{\partial x}{\partial \mathbf{A}}\right)}_{ij}=\frac{\partial x}{\partial A_{ij}}.\text{\hspace{1em}(A.19)}$$

对于函数 $f(\mathbf{x})$ ，假定其对向量的元素可导，则 $f(\mathbf{x})$ 关于 $\mathbf{x}$ 的一阶导数是一个向量，其第 $i$ 个分量为

$${\left(\nabla f(\mathbf{x})\right)}_i=\frac{\partial f(\mathbf{x})}{\partial x_i},\text{\hspace{1em}(A.20)}$$

$f(\mathbf{x})$ 关于 $\mathbf{x}$ 的二阶导数是称为海森矩阵(Hessian matrix)的一个方阵，其第 $i$ 行第 $j$ 列上的元素为

$${\left({\nabla }^{2}f(\mathbf{x})\right)}_{ij}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}.\text{\hspace{1em}(A.21)}$$

向量和矩阵的导数满足乘法法则(product rule)

$$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a},\text{\hspace{1em}(A.22)}$$

$$\frac{\partial \mathbf{AB}}{\partial \mathbf{x}}=\frac{\partial \mathbf{A}}{\partial \mathbf{x}}\mathbf{B}+\mathbf{A}\frac{\partial \mathbf{B}}{\partial \mathbf{x}}.\text{\hspace{1em}(A.23)}$$

由 ${\mathbf{A}}^{-1}\mathbf{A}=\mathbf{I}$ 和式(A.23)，逆矩阵的导数可表示为

$$\frac{\partial {\mathbf{A}}^{-1}}{\partial \mathbf{x}}=-{\mathbf{A}}^{-1}\frac{\partial \mathbf{A}}{\partial \mathbf{x}}{\mathbf{A}}^{-1}.\text{\hspace{1em}(A.24)}$$

若求导的标量是矩阵 $ \mathbf{A} $ 的元素，则有

$$\frac{\partial \text{tr}(\mathbf{AB})}{\partial A_{ij}}=B_{ji},\text{\hspace{1em}(A.25)}$$

$$\frac{\partial \text{tr}(\mathbf{AB})}{\partial \mathbf{A}}={\mathbf{B}}^T.\text{\hspace{1em}(A.26)}$$

进而有

$$\frac{\partial \text{tr}({\mathbf{A}}^T\mathbf{B})}{\partial \mathbf{A}}=\mathbf{B},\text{\hspace{1em}(A.27)}$$

$$\frac{\partial \text{tr}(\mathbf{A})}{\partial \mathbf{A}}=\mathbf{I},\text{\hspace{1em}(A.28)}$$

$$\frac{\partial \text{tr}({\mathbf{ABA}}^T)}{\partial \mathbf{A}}=\mathbf{A}(\mathbf{B}+{\mathbf{B}}^T).\text{\hspace{1em}(A.29)}$$

由式(A.15)和(A.29)有

$$\frac{\partial \Vert \mathbf{A}{\Vert }_F^2}{\partial \mathbf{A}}=\frac{\partial \text{tr}(\mathbf{A}{\mathbf{A}}^T)}{\partial \mathbf{A}}=2\mathbf{A}.\text{\hspace{1em}(A.30)}$$

链式法则(chain rule)是计算复杂导数时的重要工具。简单地说，若函数 $ f $ 是 $ g $ 和 $ h $ 的复合，即 $ f(x) = g(h(x)) $ ，则有

$$\frac{\partial f(x)}{\partial x}=\frac{\partial g(h(x))}{\partial h(x)}\cdot \frac{\partial h(x)}{\partial x}.\text{\hspace{1em}(A.31)}$$

例如在计算下式时，将 $\mathbf{Ax}-\mathbf{b}$ 看作一个整体可简化计算：

$$\frac{\partial }{\partial \mathbf{x}}(\mathbf{Ax}-\mathbf{b}{)}^T\mathbf{W}(\mathbf{Ax}-\mathbf{b})=\frac{\partial (\mathbf{Ax}-\mathbf{b})}{\partial \mathbf{x}}\cdot 2\mathbf{W}(\mathbf{Ax}-\mathbf{b})$$

$$=2{\mathbf{A}}^T\mathbf{W}(\mathbf{Ax}-\mathbf{b}).\text{\hspace{1em}(A.32)}$$

机器学习中$\mathbf{W}$通常是对称矩阵。