1.Epoch

所有训练样本训练一次的过程,即所有训练样本在神经网络中都进行一次正向传播和一次反向传播

当一个Epoch的样本数量过大时,将其分成多个小块Batch进行训练

为什么使用多个epoch:

①在神经网络中,完整的数据集需要传递多次,传递一次不够;

②使用的是有限的数据集,使用迭代过程即梯度下降来优化学习过程

随着epoch数量增加,神经网络中权重的更新次数也在增加,曲线从欠拟合变得过拟合

需要针对不同的数据集,选择合适的epoch数量

2.Batch

将整个训练样本分成多个batch,表示所有样本中的一批样本

batch_size:batch的大小,即每批样本的样本数量大小

3.Iteration

训练一个Batch就是一次Iteration,表示一次迭代

完成一个Batch,模型权重更新一次

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐