人工神经元模型

（1）一组连接：连接强度由各连接上的值表示，权值取正表示激活，取负表示抑制
（2）一个加法器：用于求输入信号对神经元的相应突触加权之和
（3）一个激活函数：用来限制神经元输出振幅。激活函数也成压制函数，因为它将输入信号压制到允许范围之内的一定值。通常，一个神经元输出的正常幅度范围可写成单位闭区间[0,1]或者[-1,+1]
另外，可以给一个神经元模型加一个外部偏置，记为$b_k$。偏置的作用是根据其为正或为负，相应地增加或降低激活函数的网络输入。
一个人工神经元k可以用以下公式表示：
$$u_k=\sum _{i=1}^m{w}_{ik}{x}_i$$
$$y_k=f(u_k+b_k)$$
式中，$x_i$输入信号，$w_{ik}$神经元k的突触权值，m为输入信号数目，$u_k$输入信号线性组合器的输出，$b_k$神经元单元的偏置（阈值），$f(\cdot )$激活函数，$y_k$神经元输出信号

常用的激活函数

（1）域值函数，即阶梯函数，可以把输入分为两类
$$f(v)=\{\begin{array}{rlr}1& & v\ge 0\\ 0& & v<0\end{array}$$
（2）分段线性函数，在（-1，+1）线性区间内的放大系数是一致的
$$f(v)=\{\begin{array}{rlr}1& & v\ge 1\\ v& & -1<v<1\\ -1& & v\le -1\end{array}$$
（3）非线性转移函数，最常用的s型函数
$$f(v)=\frac{1}{1+e^{-v}}$$

有时也采用双极性s函数
$$f(v)=\frac{2}{1+e^{-v}}-1$$

神经网络模型

（1）前馈神经网络，在分类过程中数据只能向前输送，直到到达输出层，如BP网络
（2）反馈神经网络，从输出到输入有反馈连接
（3）自组织神经网络，自动寻找样本中的内在规律和本质属性，自组织地改变网络参数与结构

神经网络工作方式

学习\工作
（1）学习，用学习算法来调整神经元间的连接权，使得网络输出更符合实际
有导师学习算法是将一组训练集送入网络，根据网络的实际输出与期望输出差别来调整连接权

• 从样本集合中取一个样本$（A_i,B_i）$，其中$A_i$是输出，$Bi$是期望输出
• 计算网络的实际输出O
• 求$D=B_i-O$
• 根据D调整权矩阵W
• 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围为止

无导师学习抽取样本集合中蕴含统计特性，并以神经元之间连接权的形式存在于网络中
（2）Delta学习规则
是一种简单的导师学习算法，如果神经元实际输出比期望输出大，则减小所有输入为正的连接权重，增大所有输入为负的连接权重，反之…其数学表示为：
$$w_{ij}(t+1)=w_{ij}+\alpha (d_i-y_i)x_i(t)$$
其中，$w_{ij}$表示神经元j到神经元i的连接权，$d_i$是神经元i的期望输出，$y_i$是神经元I的实际输出，$x_j$表示神经元j的状态，如果神经元j处于激活状态，则$x_j$为1如果处于抑制状态则$x_j$为0或-1（根据激活函数而定），$\alpha$是学习速度的常数
（3）工作状态
神经元间的连接权保持不变，神经网络处于工作状态，分为分类器、预测器等使用。

BP神经网络

Back Propagation，一种按误差逆传播算法训练的多层前馈网络
BP网络能学习和储存大量的输入-输出模式映射关系，而无须事前揭示描述这种映射的数学方程

BP神经网络的训练

（1）网络的层数
增加隐含层可以提高误差的精度，一般优秀考虑增加隐含层中的神经元数，增加层数可以进一步降低误差提高精度但是增加网络权值的训练时间
（2）隐含层的神经元数
实际的做法就是取输入层的两倍，适当加上一点余量
（3）初始权值的选取
为避免每一步权值的调整方向是同向的，应将初始值设为随机数。权值的初始值应选均匀分布的小数经验值，一般取初始权值在（-1，1）之间的随机数，也可以选取[-2.4/n,2.4/n]之间的随机数，其中n为输入特征个数
（4）学习速率
一般情况倾向选较小的学习速率以保证系统的稳定性，选取0.01~0.8，误差的平方和$\sum e^2$的下降速率很快说明学习速率合适
为使整个学习过程加快，又不引起震荡，可采用变学习速率的方法，即在学习初期用较大的学习速率，随着学习过程的进行逐渐减少其值
(5)期望误差的选取

BP神经网络的学习方法

BP神经网络的学习过程主要由四部分组成：
（1）输入模式由输入层、隐含层向输出层传播计算

• 确定输入向量X：$X=[x_1,x_2,...x_n{]}^T$（n为输入层单元个数）
• 确定输出向量Y：$Y=[y_1,y_2,...y_n{]}^T$
• 确定希望输出向量O：$O=[o_1,o_2,...o_q{]}^T$（q为输出层单元个数）
• 确定隐含层输出向量B：$B=[b_1,b_2,...b_p{]}^T$（p为输入层单元个数）
• 初始化输入层至隐含层的连接权值$W_j=[w_{j1},w_{j2},...w_{jp}{]}^T$（p为输入层单元个数）
• 初始化隐含层至输出层的连接权值$V=[v_{k1},v_{k2},...,v_{kj},...v_{kq}{]}^T$（n为输入层单元个数）

（2）输出误差由输出层经隐含层传向输入层

• 计算隐含层各神经元的激活值$s_j$：$$s_j=\sum _{i=1}^n{w}_{ji}{x}_i-{\theta }_j(j=1,2,...,p)$$
  $w_{ji}$为输入层至隐含层的连接权，${\theta }_j$为隐含层单元的阈值
  激活函数采用S型函数，即$$f(x)=\frac{1}{1+exp(-x)}$$
• 计算隐含层j单元的输出值。将上面的激活值代入激活函数中，可得隐含层j单元的输出值为：$$b_j=f(s_j)=\frac{1}{1+exp(-{\sum }_{i=1}^n{w}_{ji}{x}_i+{\theta }_j)}$$
  阈值${\theta }_j$在学习过程中和权值一样也不断被修正。阈值的作用反映在S型函数的输出曲线上
• 计算输出层第k个单元的激活值$s_k$：$$s_j=\sum _{j=1}^p{v}_{kj}{b}_j-{\theta }_k$$
• 计算输出层第k个单元的实际输出值$y_k$:$$y_k=f(s_k),(t=1,2,...,q)$$

（3）模式顺传播与误差逆传播的计算过程反复交替循环进行
（4）判定全局误差是否趋向极小值
下面介绍9种BP神经网络参数（连接权值和节点阈值）的调整方法