问：信息熵越大说明其纯度越高。

答：错误。信息熵越小，说明数据集的纯度越高。信息熵是衡量数据集纯度的指标之一，它是对数据集中所有类别出现概率进行加权平均所得到的一个值。

信息熵是度量样本集合纯度/不确定度最常用的指标之一。
但要注意：信息熵越小，表示不确定度越低，确定度越高，纯度越高。
信息增益代表的是在一个条件下，信息复杂度（不确定性）减少的程度，也即纯度提高的程度。

信息增益越大，表示信息的不确定度降低的越多，即信息的纯度越高。
在决策树的ID3算法中，追求的是信息熵越小越好，信息增益越大越好。