深度学习之logistic回归实现二分类
核心介绍:采用logistic回归解决分类问题,大致可以分为两个步骤:1.分类,采用逻辑回归公式实现分类2.评估分类效果并调整w,b值
核心介绍:
采用logistic回归解决分类问题,大致可以分为两个步骤:
1.分类,采用逻辑回归公式实现分类
2.评估分类效果并调整w,b值
一、logistic 回归公式,解决二分类问题y^=δ(wTx+b),δ(Z)=11+e−z,Z=wTx+b \hat{y} = \delta (w^{T}x+b),\delta(Z)=\frac{1}{1+e^{-z}} ,Z = w^{T}x+b y^=δ(wTx+b),δ(Z)=1+e−z1,Z=wTx+b二、衡量分类效果的标准
可以采用成本函数,值得注意的是损失函数是衡量单一样本的,成本函数是整个样本集。
J(w,b)=1m∑i=1mL(y^(i),y(i))=−1m[∑i=1my(i)logy^(i)+(1−y(i))log(1−y^(i))]J(w,b) = \frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)}) = -\frac{1}{m}[\sum_{i=1}^{m}{y}^{(i)}\log\hat{y}^{(i)}+(1-{y}^{(i)})\log(1-\hat{y}^{(i)})] J(w,b)=m1i=1∑mL(y^(i),y(i))=−m1[i=1∑my(i)logy^(i)+(1−y(i))log(1−y^(i))]注:其中L(y^(i),y(i))=−[y(i)logy^(i)+(1−y(i))log(1−y^(i))]是损失函数 注:其中L(\hat{y}^{(i)},y^{(i)}) = -[{y}^{(i)}\log\hat{y}^{(i)}+(1-{y}^{(i)})\log(1-\hat{y}^{(i)})] 是损失函数注:其中L(y^(i),y(i))=−[y(i)logy^(i)+(1−y(i))log(1−y^(i))]是损失函数
同时,为使损失函数值最小,可以使用梯度下降算法,不断更新w,b的值,其中,涉及内容有学习率,求导(变化率)
- 逻辑回归用于二分类,主要公式如下:
logistic回归公式:Z=WTX+b=np.dot(WT,X)+blogistic回归公式:Z = W^{T}X+b = np.dot(W^{T},X)+blogistic回归公式:Z=WTX+b=np.dot(WT,X)+b非线性化,使结果在(0,1)之间:A=δ(Z)非线性化,使结果在(0,1)之间:A = \delta(Z)非线性化,使结果在(0,1)之间:A=δ(Z) - 反向传播,更新w、b:经过证明,对Z的求导是:dZ=A−Y经过证明,对Z的求导是: dZ = A - Y 经过证明,对Z的求导是:dZ=A−Y对w的求导是:dw=1mX∗dZ对w的求导是:dw = \frac{1}{m} X*dZ对w的求导是:dw=m1X∗dZ对b的求导是:db=1mnp.sum(dZ)这里的np是numpy的简写对b的求导是:db = \frac{1}{m} np.sum(dZ) 这里的np是numpy的简写对b的求导是:db=m1np.sum(dZ)这里的np是numpy的简写=>w:=w−αdw=> w := w - \alpha dw=>w:=w−αdw 和 b:=b−αdbb := b - \alpha dbb:=b−αdb
符合解释: A表示预测结果的概率,Y表示真实估计值,α\alphaα是学习率(用来控制变化的速率)

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)