1 sigmoid函数

sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。
sigmoid函数由下列公式定义:
$$\sigma (x)=\frac{1}{1+e^{-x}}\text{\hspace{1em}(1)}$$
sigmoid函数的级数表示：
$$\sigma (x)=\frac{1}{2}+\frac{1}{4}x-\frac{1}{48}{x}^3+\frac{1}{480}{x}^5-\frac{17}{80640}{x}^7+\frac{31}{1451520}{x}^9-\frac{691}{319334400}{x}^{11}+O(x^{12})\text{\hspace{1em}(2)}$$
计算结果如下：

该函数的曲线如下：

在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。与之类似的还有softplus和softmax等函数。
函数具有以下几个特点：

• 值域在0和1之间
• 函数具有非常好的对称性
• 函数对输入超过一定范围就会不敏感，在趋于正无穷或负无穷时，函数趋近平滑状态

但该函数有以下几个缺点：

• 激活函数计算量大，反向传播求误差梯度时，求导涉及除法
• 反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练

应用：在二分类任务中，采用sigmoid的输出的是事件概率，也就是当输出满足某一概率条件将其划分正类。
其对x的导数可以用自身表示：
$${\sigma }^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\sigma (x)(1-\sigma (x))\text{\hspace{1em}(3)}$$

2 softplus函数

该函数的数学表达式为：
$$\zeta (x)=\ln (1+e^x)\text{\hspace{1em}(4)}$$
值域为$(0,+\infty )$，其函数图像为：

softplus函数与ReLU函数对比如下：

• softplus函数与ReLU函数接近，但比较平滑；
• 同ReLU一样是单边抑制,有宽广的接受域$(0,+\infty )$；
• softplus函数指数运算及对数运算，计算量大导致不太被人使用；
• 从一些人的使用经验来看(Glorot et al.(2011a))，softplus函数效果也并不比ReLU好。
  

softplus的导数恰好是sigmoid函数.
softplus可以看作是ReLu的平滑。根据神经科学家的相关研究，softplus和ReLu与脑神经元激活频率函数有神似的地方。也就是说，相比于早期的激活函数，softplus和ReLu更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。

3 tanh函数

tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
$$\tanh x=\frac{\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
其曲线如下图所示：

其导数为：
$${\tanh }^{\prime }x=1-\frac{(e^x-e^{-x}{)}^2}{(e^x+e^{-x}{)}^2}=1-{\tanh }^{2}x$$
其曲线如下图所示：

4 sigmoid函数$\sigma (x)$和softplus函数$\zeta (x)$一些重要性质

这些重要性质非常有用，需要背下来：
$$\sigma (x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}$$
$$\frac{d}{dx}\sigma (x)=\sigma (x)(1-\sigma (x))$$
$$1-\sigma (x)=\sigma (-x)$$
$$\log \sigma (x)=-\zeta (-x)$$
$$\frac{d}{dx}\zeta (x)=\sigma (x)$$
$$\forall x\in (0,1),{\sigma }^{-1}(x)=\log (\frac{x}{1-x})$$
$$\forall x>0,{\zeta }^{-1}(x)=\log (e^x-1)$$
$$\zeta (x)={\int }_{-\infty }^x\sigma (y)dy$$
$$\zeta (x)-\zeta (-x)=x$$