熵的计算公式:

p(x)为概率,全部概率之和为1

假设 probs是网络输出的n分类预测概率,尺寸为[batch_size,n],那么预测熵的计算代码如下:

log_probs = np.log2(probs)
shang = -1 * np.sum(probs * log_probs, axis=1)

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐