解释

由于模型中的参数初始化例如权重参数如下图,就是随机初始化的,为了能够更好的得到论文中提到效果,可以设置随机种子,从而减少算法结果的随机性,使其接近于原始结果。
在这里插入图片描述
设置了随机种子,产生的随机数都是相同的。
值得注意的是:“随机种子和神经网络训练没有直接关系,随机种子的作用就是产生权重为初始条件的随机数。神经网络效果的好坏直接取决于学习率和迭代次数”。

pytorch查看和调整种子

学会查看当前设定的种子和模型参数是非常重要的,因为它们可以帮助我们更好地理解模型的内部状态和行为。

参考

seed在模型中的应用及用法
深度学习中的随机种子torch.manual_seed(number)、torch.cuda.manual_seed(number)

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐