深度学习笔记1 - batch，iteration，epoch

一、batch

深度学习的优化算法，主要以梯度下降为主。每次参数更新有两种方式：
（1）一次遍历全部的数据集，算一次损失函数，然后用损失函数求出各个参数的梯度，更新参数
（2）每一次遍历一个样本数据就算一下损失函数，一般采用固定增量法。
两种方案都会存在计算量复杂繁琐的问题。
所以采用折中方案：mini-batch gradient decent 小批的的梯度下降。顾名思义，就是将数据集分批进行训练，按批来更新参数

二、iteration

• iteration（迭代）：一次权值更新为一次iteration，每一次权值更新需要batch_size个数据进行正向传播和反向传播。
  所以一次iteration等于使用batch_size个样本进行训练一次。

• iteration = samples_num / batch_size
  
  

三、epoch

• epoch（周期）被定义为：所以批次样本向前传播和向后传播的一次训练迭代。
  所以一次epoch是整个数据的一次向前传播和向后传播的过程