（Tensorflow之二十三）BATCH_SIZE的计算方法以及取值方法
·
一、BATCH_SIZE对计算参数的影响
BATCH_SIZE的主要影响到loss以及反向传播时的递度计算；在同一批次的训练中，loss及反向传播梯度为单个loss及反向传播递度的平均值。
二、BATCH_SIZE选取
当BATCH_SIZE过小
例，当BATCH_SIZE为1时，相邻的两个样本之间差异非常大，则会使梯度值过大，导致始终无法收敛；
当BATCH_SIZE过大
一方面，计算机内存消耗大，可以无法同时计算太大的数据量；
另一方面，变成只有一轮的训练，无法在多轮的训练中再次调整数据训练参数；
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)