初始的学习率为lr,可以在前面的0.8*num_epochs,学习率下降到 lr*0.1,然后在0.9*num_epochs下降到 lr*0.01;

也可以多次下降,0.4642,下降6次,0.4642**6=0.010005316163952237,0.4642**3=0.100026577288

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐