【原理】机器学习中的最小二乘法公式推导过程
最小二乘法是基本的线性求解问题之一，本文介绍最小二乘法的原理，和最小二法求解公式的推导
·
本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/
最小二乘法是基本的线性求解问题之一，本文介绍最小二乘法的原理，和最小二法求解公式的推导
一、什么是最小二乘法
下面简单讲述最小二乘问题与最小二乘法求解公式。
1.1. 什么是最小二乘法
现有A，b，求一x，使得Ax与b的误差最小，即：
min E ( x ) = ( A x − b ) T ( A x − b ) \displaystyle \text{min}\textbf{E}(x) =(Ax-b)^T(Ax-b) minE(x)=(Ax−b)T(Ax−b)
该问题称为最小二乘问题
1.2. 最小二乘法的求解公式
最小二乘法问题的求解公式为：
x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb
二、最小二乘法求解公式的推导
推导思路很简单，只要令E(x)偏导为 0，再进行求解就可以。
最小二乘法求解公式-具体推导过程如下：
即有上述最小二乘法求解公式：
x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb
相关链接：
《老饼讲解-机器学习》：老饼讲解-机器学习教程-通俗易懂
《老饼讲解-神经网络》：老饼讲解-matlab神经网络-通俗易懂
《老饼讲解-神经网络》：老饼讲解-深度学习-通俗易懂
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)