一、深度神经网络(DNN)

1.神经网络比较

• 生物神经网络

  生物神经网络是指生物的大脑神经元，细胞等组成的网络，用于产生生物的意识，帮助生物进行思考和行动
  

• 人工神经网络

  人工神经网络是模仿动物神经网络行为特征所建立的数学算法基础，它是对自然界某种算法或者函数的逼近
  

2.神经网络前向传播过程

3.神经网络后向传播过程

二、神经网络参数更新

1.如何更新

2.下降多少合适

自行调整

3.局部最小值和全局最小值

4.影响局部、全局最小值的因素

• 初始化权重
• 优化函数(动量)
• 学习率
  

三、深度学习样本分类

1.样本

• 研究中实际观测或调查的一部分个体称为样本，研究对象的全部称为总体
• 为了使样本能够正确反映总体情况，对总体要有明确的规定
  总体内所有观察单位必须是同质的
  在抽取样本的过程中，必须遵守随机化原则
  样本的观察单位要有足够的量，称为“子样”
  按照一定的抽样规则从总体中抽取的一部分个体，样本中个体的数目称为“样本总量”

2.样本类型

• 训练集
  • 样本是带有标签的数据集
  • 参与网络每一次前向、后向的运算
  • 输入值是样本的值输出值和标签值形状类型一致，用来和标签值做损失，用于后向传播更新权重
• 验证集
  • 带有标签的数据集
  • 只进行一次前向运算
  • 目的是验证模型的训练程度，检验结果是否达标
• 测试集
  • 不带标签的数据集
  • 用来测试模型的泛化能力

3.各类样本的比例

三者比例一般在 6:2:2 - 8:1:1 之间。