一、卷积尺寸计算公式 

二、池化 

 池化分为最大池化和平均池化

最常用的就是最大池化,可以认为最大池化不需要引入计算,而平均池化需要引出计算(计算平均数)

每种池化还分为Pooling和AdaptiveAvgPool

Pooling(2)就是每2*2个格子pooling成一个格子,相当于减半

 AdaptiveAvgPool(7)就是无论刚开始输入特征图有多大,最后只能变为7*7的特征图

最后,进行拉直,还是进行Linear操作

三、计算Loss值

 我们计算Loss值,需要计算出来的概率分布,而经过卷积池化,Linear后得到的y'(上图)不是概率分布,因此我们进行y'=Softmax(y)操作,得到真正的y'的概率分布。

 

得到y'我们就可以 计算Loss,这里就引入了 CrossEntropy Loss: 交叉熵损失,在使用中,我们可以不用关注计算过程,我们只需调用CrossEntropyLoss即可得到Loss

得到Loss之后,我们就可以使用PyTorch中的loss.backward()方法来自动计算梯度,计算每个卷积核的梯度,更新模型。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐