文章目录

1、决策树原理

选择一个特征进行测试，然后根据这个测试再分为多个子数据集，最后一步步划分数据集。
一个很典型的图片：
在这里插入图片描述

但是我们如何选择哪些特征分布，以什么为标准呢？
由于要解决这个问题，我们引入了信息增益

2、信息增益

2.1 信息熵

信息熵这个词汇是由香农于1948年提出的，这个词是香农从热力学中借用过来的。
我们可以根据信息熵的一个变化幅度去衡量我们到底先使用哪个特征作为第一个，哪个作为后一个。.

2.2 公式

在这里插入图片描述

2.3 例子

在这里插入图片描述

2.4 具体实例

在这里插入图片描述
在这里插入图片描述

2.5 结论

在这里插入图片描述

2.6 sklearn作者寄语

在这里插入图片描述

# 机器学习 # 算法 # scikit-learn
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

东土科技全国产化智能机器人通用电子架构完成适配并实现小批量出货

avatar DAMO开发者矩阵
cover

机器人控制里，有些东西真的不是“套个公式”就完事了

avatar DAMO开发者矩阵
cover

优必选U1超仿生机器人：AI原生时代的情感计算新物种

avatar DAMO开发者矩阵