自适应权重的交叉熵计算

在训练集中类别不平衡的情况下，可对不同类别赋予不同的权重。有采用固定权重，也有实时计算权重。在这里，介绍一种自适应权重的计算方法，参考论文《ENet: A Deep Neural Network Architecture for Real-time Semantic Segmentation》。对类别的权重定义如下：其中，c是一个超参数，设为1.02，是该类样本所占的比例。最后，将...

放牛娃子

4096人浏览 · 2020-01-20 16:36:43

放牛娃子 · 2020-01-20 16:36:43 发布

在训练集中类别不平衡的情况下，可对不同类别赋予不同的权重。有采用固定权重，也有实时计算权重。

在这里，介绍一种自适应权重的计算方法，参考论文《ENet: A Deep Neural Network Architecture for Real-time Semantic Segmentation》。

对类别的权重定义如下：

$w_{class} = \frac{1}{ln(c + p_{class})}$

其中，c是一个超参数，设为1.02， $p_{class}$ 是该类样本所占的比例。最后，将 $w_{class}$ 限制在[1.0,50]的范围内。

本人实验中，在类别不平衡的情况下（达到了30:1），在一个batch内，采用上述公式计算类别权重，与固定权重相比，最终的F1从百分之九十五点几上升到百分之九十六点几。

用pytorch接口

loss = F.cross_entropy(logits,gt,weight=weight)

其中，weight为上述公式计算出来的权重。

（PS：以此记录，便于查阅）

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

ROS2小车调试记录

查询系统版本ROS 2（Robot Operating System 2）中的工作空间（Workspace）是组织和管理 ROS 2 软件包（packages）的核心目录结构。它类似于一个“项目文件夹”，用于存放源代码、编译产物、依赖配置等，是开发、构建和运行 ROS 2 节点的基础环境。每个机器人可能有很多功能，比如移动控制、视觉感知、自主导航等，如果我们把这些功能的源码都放到一起当然也是可以的