1，准确率（Accuracy）

准确率（A）是对预测结果和原结果来说的，表示预测结果中有多少样本预测是正确的。而准确率的局限性：当负样本占 99% 时，分类器把所有样本都预测为负样本也可以获得 99% 的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。

准确度：

为了解决准确率局限性，可以使用更为有效的平均准确率（每个类别下的样本准确率的算术平均）作为模型评估的指标。

2，精确率（Precision）

精确率（P值）是针对预测结果而言的，它表示预测为正的样本中有多少是真正的正样本。

P 值计算如下：

3，召回率（Recall）

召回率（R值）是针对原来样本而言的，它表示样本中的正例有多少被预测正确。

R 值计算如下：

【问题】recall 重要的场景下，如果 recall 很高，precision 很低怎么办？

• 癌症筛查：100个警报中，95个是真患者，但正常人有1000个被误诊为患者。

  • Recall = 95/100 = 95% ✓

  • Precision = 95/(95+1000) ≈ 8.7% ✗

• 反欺诈系统：几乎抓住了所有欺诈交易，但误伤了大量正常交易

• 垃圾邮件检测：几乎没漏掉垃圾邮件，但许多正常邮件进了垃圾箱

• 分层过滤：在保证 Recall 底线的前提下，用自动化规则筛掉明显误报，二级模型精排，剩余可疑项交给人判断，形成持续改进闭环。

【问题】不同场景下 precision 和 recall 如何关注？哪个更重要？

• 如果“漏报”（FN）的代价更高 -> 召回率 (Recall) 更重要。

  • 例子： 疾病诊断、缺陷产品召回、安全隐患检测、法律证据检索。

  • 口号： “宁可错杀，不可放过”。

• 如果“误报”（FP）的代价更高 -> 精确率 (Precision) 更重要。

  • 例子： 垃圾邮件过滤（把正常邮件扔进垃圾箱很糟糕）、推荐系统、人脸解锁、新闻推送。

  • 口号： “宁可放过，不可错杀”。

4，F值

在评价的时候，当然是希望检索结果Precision越高越好，同时Recall也越高越好，但事实上这两者在某些情况下有矛盾的。比如极端情况下，只搜索出了一个结果，那么 Precision 就是100%，但是Recall为 1/n 就很低；而如果抽取10个，那么 Recall 是 100%，但是Precision 可能为 1/10（负样本全部预测为正样本），相对来说就会比较低。因此 P 和 R 指标有时候会出现的矛盾的情况，最常见的方法就是F-Measure：

那么在我们这个例子中：

4，ROC曲线

曲线下方的面积用一个 0 到 1 之间的数，直观地告诉你这个分类模型“好坏分清”的整体能力有多强。数字越大，能力越强。

• 横坐标（假正率，FPR）：在所有真实坏瓜里，被机器误判成好瓜的比例。误判要承受多少损失。

• 纵坐标（真正率，TPR）：在所有真实好瓜里，被机器正确识别的比例。成功抓住了多少好东西（收益）。

【问题】AUC 即为 ROC 曲线所覆盖的区域面积？

• AUC = 1（完美）： 机器能完美区分，好瓜的分数永远比坏瓜高。

• AUC = 0.5（瞎猜）： 机器毫无区分能力，好坏瓜的分数混在一起。

• 0.5 < AUC < 1（有用）： 机器有一定的区分能力。AUC越接近1，意味着你在任意设定一个“代价”水平时，能获得的“收益”平均值越高；或者说，你随机挑一个真实的好瓜和一个真实的坏瓜，好瓜的“信心分”高于坏瓜的概率就越大。

【问题】从样本里随机去掉一些负样本或者正负样本不均衡，Auc 怎么变？AUC 的期望基本不变；因为 TPR 和 FPR 分别在各自的类别（正类和负类）内部进行归一化。