PSI:检验变量的稳定性,当一个变量的psi值大于0.0001时,变量不稳定。一个变量,将它的取值按照分位数来分组一下,每一组中测试模型的客户数占比减去训练模型中的客户数占比再乘以这两者相除的对数,就是这一组的稳定性系数psi,然后变量的psi系数就是把这个变量的所有组的psi相加总起来。

计算某个变量的PSI,上面这段话中测试模型和训练模型替换成两个月份即可。

例如,下表是某个变量,以2018年10月为基准,每个月(以2018年9月为例)都和2018年10月去做一个下面表格的运算。

 组号总个数2018年10月各组人数2018年10月各组人数占比2018年9月各组人数2018年9月各组人数占比占比差值psi
16032170.72333860.55140.17190.0466
2103340.1133690.09860.01480.0021
363110.0367520.0743-0.03760.0266
44860.0200420.0600-0.04000.0439
5183320.10671510.2157-0.10900.0768
总计10003001.00007001.0000-0.1960

第一个0.0466的计算方法:

= (0.7233-0.5514)*LN(0.7233/0.5514)

下面几个数值的计算方法是相同的,最后的0.1960是把上面的几个加起来。

可以把每个月份依次和2018年10月去对比求一个PSI值出来。

如果PSI卡的值是0.1,只要有一个月对比得到的PSI值大于0.1,就要把这个变量踢掉。比如,从上表的结果来看,这个变量就应该被踢掉了。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐