一. 导数和微分

在深度学习中，对于每个参数， 如果我们把这个参数增加或减少一个无穷小的量，我们可以知道损失会以多快的速度增加或减少。
定义 u=f(x)=3x^2−4x

import numpy as np
import matplotlib.pyplot as plt

def f(x):
    return 3 * x ** 2 - 4 * x

计算观察x=1处的导数

def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

h = 0.1
for i in range(5):
    print(f'h={h:.5f}, numerical limit={numerical_lim(f, 1, h):.5f}')
    h *= 0.1

h=0.10000, numerical limit=2.30000
h=0.01000, numerical limit=2.03000
h=0.00100, numerical limit=2.00300
h=0.00010, numerical limit=2.00030
h=0.00001, numerical limit=2.00003

给定 y=f(x) ，其中 x 和 y 分别是函数 f 的自变量和因变量。以下表达式是等价的：
$$f^{\prime }(x)=y^{\prime }=\frac{dy}{dx}=\frac{df}{dx}=\frac{d}{dx}f(x)=Df(x)=D_{x}f(x)$$
为了微分一个由一些简单函数（如上面的常见函数）组成的函数，下面的法则使用起来很方便。 假设函数 f 和 g 都是可微的， C 是一个常数，我们有：
常数相乘法则
$$\frac{d}{dx}[Cf(x)]=C\frac{d}{dx}f(x)$$
加法法则
$$\frac{d}{dx}[f(x)+g(x)]=\frac{d}{dx}f(x)+\frac{d}{dx}g(x)$$
乘法法则
$$\frac{d}{dx}[f(x)g(x)]=f(x)\frac{d}{dx}[g(x)]+g(x)\frac{d}{dx}[f(x)],$$
除法法则
$$\frac{d}{dx}\left[\frac{f(x)}{g(x)}\right]=\frac{g(x)\frac{d}{dx}[f(x)]-f(x)\frac{d}{dx}[g(x)]}{[g(x){]}^2}$$
我们可以绘制函数 u=f(x) 及其在 x=1 处的切线 y=2x−3 ，其中系数 2 是切线的斜率。

x = np.arange(0, 3, 0.1)
y1 = f(x)
y2 = 2*x-3 #切线
plt.grid() #网格线
plt.xlabel('x') 
plt.ylabel('f(x)')
plt.plot(x, y1, label = 'f(x)')
plt.plot(x, y2, label = 'Tangent line (x=1)')
plt.legend(loc="upper left")

二. 偏导数

函数通常依赖于许多变量。因此，我们需要将微分的思想推广到这些多元函数（multivariate function）上。
设 y=f(x1,x2,…,xn) 是一个具有 n 个变量的函数。 y 关于第 i 个参数 xi 的偏导数（partial derivative）为：
$$\frac{\partial y}{\partial x_i}=\underset{h\to 0}{\lim }\frac{f\left(x_1,\dots ,x_{i-1},x_i+h,x_{i+1},\dots ,x_n\right)-f\left(x_1,\dots ,x_i,\dots ,x_n\right)}{h}$$
对于偏导数的表示，以下是等价的：
$$\frac{\partial y}{\partial x_i}=\frac{\partial f}{\partial x_i}=f_{x_i}=f_i=D_{i}f=D_{x_i}f$$

三. 梯度

连结一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。函数 f(x) 相对于 x 的梯度是一个包含 n 个偏导数的向量:
$${\nabla }_{\mathbf{x}}f(\mathbf{x})={\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}\right]}^{\top }$$
其中 ∇xf(x) 通常在没有歧义时被 ∇f(x) 取代

• 对于所有 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$, 都有 ${\nabla }_{\mathbf{x}}\mathbf{A}\mathbf{x}={\mathbf{A}}^{\top }$
• 对于所有 $\mathbf{A}\in {\mathbb{R}}^{n\times m}$, 都有 ${\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}=\mathbf{A}$
• 对于所有 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$, 都有 ${\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}=\left(\mathbf{A}+{\mathbf{A}}^{\top }\right)\mathbf{x}$
• ${\nabla }_{\mathbf{x}}\Vert \mathbf{x}{\Vert }^2={\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{x}=2\mathbf{x}$

同样，对于任何矩阵 $\mathbf{X}$, 我们都有 ${\nabla }_{\mathbf{X}}\Vert \mathbf{X}{\Vert }_F^2=2\mathbf{X}$ 。正如我们之后将看到的，梯度对 于设计深度学习中的优化算法有很大用处。

三. 链式法则

然而，上面方法可能很难找到梯度。 这是因为在深度学习中，多元函数通常是复合（composite）的，所以我们可能没法应用上述任何规则来微分这些函数。 幸运的是，链式法则使我们能够微分复合函数。
$$\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}$$
假设可微分函数 y 有变量 u1,u2,…,um ，其中每个可微分函数 ui 都有变量 x1,x2,…,xn 。注意， y 是 x1,x2，…,xn 的函数。对于任意 i=1,2,…,n ，链式法则给出：
$$\frac{dy}{d{x}_i}=\frac{dy}{d{u}_1}\frac{d{u}_1}{d{x}_i}+\frac{dy}{d{u}_2}\frac{d{u}_2}{d{x}_i}+\cdots +\frac{dy}{d{u}_m}\frac{d{u}_m}{d{x}_i}$$