2021.09.23
LeeML-Notes：P13

6.0 深度学习的三个步骤

• 神经网络
• 模型评估
• 选择最优函数

6.1 神经网络

6.1.1 完全连接前馈神经网络

• 前馈（feedforward）也可以称为前向，信号流动是单向的，没有反馈，从输入逐层传播直到输出

• 完全连接，如上图layer1与layer2之间两两都有连接，所以叫做Fully Connect；

• 一个神经元的计算过程

.
*注意w矩阵的形式

6.1.2 完全连接前馈神经网络整体结构

• 全连接前馈网络，基本结构：输入层，隐藏层，输出层，神经元
  

输入层（Input Layer）：1层
隐藏层（Hidden Layer）：N层
输出层（Output Layer）：1层

• 计算方法就像是嵌套

  

6.2 模型评估：总损失

• 损失示例

对于模型的评估，我们一般采用损失函数来反应模型的好差，所以对于神经网络来说，我们采用交叉熵（cross entropy）函数来对$y和\hat{y}$​的损失进行计算，接下来我们就是调整参数，让交叉熵越小越好。

交叉熵：https://blog.csdn.net/wistonty11/article/details/120416080

• 总损失

这里只是展示了1个数字1的损失量。对于损失，我们不单单要计算一笔数据的，而 是要计算整体所有训练数据的损失，然后把所有的训练数据的损失都加起来，得到一个总体损失L。接下来就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数θ，来最小化总体损失L。

6.3 选择最优函数

如何找到最优的函数和最好的一组参数呢，我们用的就是梯度下降。

• 参数$\theta$中包含了很多参数$w_1,w_2....b_1....$
• 接下来计算梯度（也就是每个参数对于total loss L的偏导数)

• 计算过程参考本文《逻辑回归_5.2.3步骤三：find the best function》
  和《李宏毅《机器学习》笔记：7.反向传播》