【深度学习】L1、L2损失 和 L1、L2正则化
·
损失函数：
L1损失：
n个样本的平均绝对误差（MAE）：
即，真实值和预测值
之间的差值的绝对值的和。
使用L1损失函数，就是最小化MAE。
L2损失：
n个样本的均方误差（MSE）：
即，真实值和预测值
之间的差值的平方的和。
使用L2损失函数，就是最小化MSE。
正则化：
L1正则化：即对权重矩阵的每个元素绝对值求和:
L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和）:
注意：正则化项不需要求平均数，因为权重矩阵和样本数量无关，只是为了限制权重规模。
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
3
0- 0
已为社区贡献4条内容
所有评论(0)