一、RGB三维图像的卷积

首先复习以下二维卷积运算的过程：

然后让我们看看三维图像如何进行有效的卷积运算。

计算方法和二维卷积类似，从三维图像中划分出$3\times 3\times 3$的方块（称为卷积立方体），对这27个像素点进行卷积，即逐个元素与过滤器相乘求和，得到输出二维矩阵中的一个值。

三维图像和过滤器可以有不同的高和宽，但是必须有相同的通道数。在RGB这个例子中，就是有R G B三个颜色通道（组成图像中的任意颜色）

二、叠加过滤器

试想一个问题，用前面的方法可以实现垂直边缘检测和水平边缘检测，但是如果我们要检测的是更一般的边缘呢（换句话说：想检测更多的特征信息 ）？比如43°。这个时候需要一种方法，叫做过滤叠加。

• 使用垂直边缘检测过滤器，得到垂直边缘检测结果【二维】。
• 使用水平边缘检测过滤器，得到水平边缘检测结果【二维】。
• 将垂直和水平边缘检测矩阵叠加得到【三维】结果。
• 该【三维】结果叠加了垂直和水平检测的效果。

来看看老师的示意图：

三、维度总结

三维图像：$n\times n\times n_c$
过滤器：$f\times f\times n_c$
卷积输出：$n-f+1\times n-f+1\times n_c^{\prime }$
其中，$n_c^{\prime }=$ #$filters$
注意，这里用到的padding=valid，stride=1.
所以更一般的卷积输出如下：
$$\frac{n+2p-f+1}{s}\times \frac{n+2p-f+1}{s}\times n_c^{\prime }$$
输出的通道数$n_c^{\prime }$等于过滤器的数量，也等于检测的特征数（在上述RGB图像例子中，检测垂直和水平边缘两个特征）

四、单层卷积网络

计算单层网络中参数的个数
单层中图像是$3\times 3\times 3$，过滤器数量为10，问该层有多少个参数？

• 每层27个位置，卷积运算后加上1个偏置值b，得到每个过滤器卷积时需要28个参数。
• 一共10个过滤器，作10次上述过程，共计280个参数。

可以看到，不管图像有多大，参数并不多，取决于过滤器的数量和大小，这个在卷积神经网络中称为避免过拟合。

五、符号说明

$f^{[l]}$：第$l$层的过滤器大小

$p^{[l]}$：第$l$层的padding数量

$s^{[l]}$：第$l$层的stride步长

$n_c^{[l]}$：第$l$层的过滤器数量

$f^{[l]}\times f^{[l]}\times n_c^{[l-1]}$：第$l$层的过滤器维度

$f^{[l]}\times f^{[l]}\times n_c^{[l-1]}\times n_c^{[l]}$：第$l$层的权重维度

$n_c^{[l]}:1\times 1\times 1\times n_c^{[l]}$：第$l$层的偏置维度

$n_H^{[l-1]}\times n_W^{[l-1]}\times n_c^{[l-1]}$：第$l$层的输入维度

$n_H^{[l]}\times n_W^{[l]}\times n_c^{[l]}$：第$l$层的输出维度

$m\times n_H^{[l]}\times n_W^{[l]}\times n_c^{[l]}$：第$l$层【m个样本】的输出维度（深度学习中的向量化技术）

$$n_H^{[l]}=\lfloor \frac{n_H^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\rfloor$$

$$n_W^{[l]}=\lfloor \frac{n_W^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\rfloor$$

六、卷积神经网络作图像分类

第一次卷积：

第二次卷积：

第三次卷积：

对最后一次卷积结果展开成一列向量，logistic/softmax回归得到预测结果。

七、卷积神经网络中的典型层类型

• 卷积层 Convolution（CONV）
• 池化层 Pooling（POOL）
• 全连接层 Fully Connected（FC）

虽然只搭建卷积层可以实现卷积神经网络，但是神经网络架构师通常会用上池化层和全连接层搭建神经网络，这两层网络比卷积层更容易搭建。将这三者结合起来，能搭建更为强大的神经网络。

---

祝大家2021新年快乐！祝自己2021年收获满满，能达到自己的预期！