深度学习模型效果评价：Kappa系数

反演任务中的Kappa系数计算

在遥感数据反演地物分布的任务中，Kappa系数通常用于评估模型对地表覆盖类型的分类性能与实际地面观察之间的一致性。

1. 创建混淆矩阵（Confusion Matrix）

将模型的分类结果与实际地面观察结果进行比较，形成混淆矩阵。混淆矩阵包括四个元素：真正例（True Positives, TP）、真负例（True Negatives, TN）、假正例（False Positives, FP）、假负例（False Negatives, FN）。

2. 计算各项指标

计算模型的准确度（Accuracy）、精确度（Precision）、召回率（Recall）等指标：

• 准确度：$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$
• 精确度：$$Precision=\frac{TP}{TP+FP}$$
• 召回率：$$Recall=\frac{TP}{TP+FN}$$

3. 计算Kappa系数

使用以下公式计算Kappa系数：$$Kappa=\frac{p_o-p_e}{1-p_e}$$
其中，$p_o$ 是观察到的准确度，$p_e$ 是偶然准确度。
偶然准确度可以通过以下方式计算：
$$p_e=\frac{(TP+FP)\times (TP+FN)+(FN+TN)\times (FP+TN)}{(TP+TN+FP+FN{)}^2}$$

4. 解释Kappa系数

Kappa系数的值在-1到1之间，通常用来表示模型的分类性能。0表示模型分类的准确度等于随机猜测，1表示完全一致，而负值表示比随机猜测还差。

通过计算Kappa系数，可以更全面地评估遥感数据反演红树林任务中模型的性能和与实际观察的一致性。

5. 补充评价

对评价指标的不对称性评价的必要性： 对于某些类别（例如在医学诊断领域），遗漏可能会比错分导致更严重的后果，因此导致模型对正类别样本的分类错误更为敏感；而在某些安全检测场景中，误报（错分）可能对负类别样本更为偏重。

5.1 漏分误差（Omission Error）

漏分误差是指模型未能正确分类属于某一类别的样本的比例，即正类别样本中被错误地分类为负类别的比例。在混淆矩阵中，漏分误差对应于 False Negative（FN）。
$$\text{Omission Error}=1-\text{生产者准确性}=1-\frac{\text{True Positive}}{\text{True Positive + False Negative}}$$
漏分误差为对正类别样本的分类错误更为敏感。

5.2 错分误差（Commission Error）

错分误差是指模型错误地将负类别样本分类为正类别的比例，即负类别样本中被错误地分类为正类别的比例。在混淆矩阵中，错分误差对应于 False Positive（FP）。
$$\text{Commission Error}=1-\text{用户准确性}=1-\frac{\text{True Positive}}{\text{True Positive + False Positive}}$$
错分误差表现为对负类别样本的分类错误更为敏感。

参考

Pontius R, Millones M. Death to Kappa: Birth of quantity disagreement and allocation disagreement for accuracy assessment[J]. International Journal of Remote Sensing, 2011, 32: 4407-4429. DOI: 10.1080/01431161.2011.552923.
（是一篇名字起得很吓人的文章，但我认为其恰恰说明了Kappa系数存在的重要性👉👈）