论文：Generalized Out-of-Distribution Detection: A Survey
地址：https://arxiv.org/abs/2110.11334
参考：https://zhuanlan.zhihu.com/p/619694109

关于“Out-of-distribution (OOD) 检测”在机器学习系统中的重要性及其与相关领域的关系的概述。

OOD检测的重要性

• 确保可靠性和安全性：OOD检测对于确保机器学习系统的可靠性和安全性至关重要。当系统遇到在训练期间从未见过的异常场景或对象时，它应该能够发出警报并将控制权交给人类，以避免潜在的危险。
• 自动驾驶示例：在自动驾驶中，如果系统检测到未知或异常的物体或场景，它应该能够识别出这是OOD情况，并相应地采取行动，比如减速、停车或请求人类干预。

OOD检测的历史和发展

• 术语起源：OOD检测这一术语首次出现在2017年，并自此受到了研究界的广泛关注。
• 方法多样性：自那时以来，已经开发出了大量方法，这些方法从基于分类的到基于密度的再到基于距离的，种类繁多。
• OOD样本：首先我们介绍OOD样本，OOD样本的偏移包括两类，第一类是semantic shift （语义偏移），即OOD样本是来自于和ID（In-distribution）不同的类别。另一类是covariate shift（协方差偏移），即OOD样本来自于和ID样本不同的domain。在本综述中，所讨论的shift，主要是semantic shift，即OOD样本和ID样本具有不同的类别。

与其他相关问题的关系

• 相关问题：OOD检测与异常检测（AD）、新颖性检测（ND）、开放集识别（OSR）和离群点检测（OD）等问题在动机和方法论上密切相关。
• 孤立发展：尽管这些领域有共同的目标，但它们各自独立发展，定义和问题设置的细微差别常常使读者和从业者感到困惑。

统一框架的提出

• 广义OOD检测框架：为了解决这个问题，作者提出了一个统一的框架，称为广义OOD检测，它涵盖了上述五个问题。在这个框架下，这五个问题可以被视为特殊情况或子任务，从而更容易区分。

该图通过分类任务展示了广义OOD检测框架的任务分类。任务分类基于以下四个基础：

1. 要检测的分布偏移类型：

   • 协变量偏移（Covariate shift）：输入数据的分布发生了变化，但标签的条件分布保持不变。
   • 语义偏移（Semantic shift）：标签或类别的分布发生了变化，这通常意味着出现了新的类别或概念。

   任务的重点是检测这两种类型的分布偏移之一。

2. ID（In-distribution，即训练数据分布内）数据类型：

   • 单类ID数据：训练数据只包含一个类别。
   • 多类ID数据：训练数据包含多个类别。

3. 是否需要ID分类：

   • 需要：除了检测OOD样本外，任务还要求对ID样本进行分类。
   • 不需要：任务仅关注OOD检测，而不涉及ID样本的分类。

4. 学习方式：

   • 转导学习（Transductive learning）：要求使用所有可用的观测数据（包括测试数据）来进行学习。
   • 归纳学习（Inductive learning）：遵循传统的训练-测试方案，即使用训练数据来学习模型，并在测试数据上评估其性能。

注意事项

• ND与AD的互换性：新颖性检测（ND）和异常检测（AD）经常可以互换使用，但ND更关注语义上的异常，即那些与已知类别在语义上不同或不属于任何已知类别的样本。
• OOD检测与OSR的互换性：对于分类任务来说，OOD检测通常可以与开放集识别（OSR）互换使用。OSR是指模型能够识别出不属于训练集中任何类别的样本，这与OOD检测的目标是一致的。

这段描述通过四个基础对广义OOD检测框架的任务进行了分类，并指出了ND与AD、OOD检测与OSR之间的互换性和细微差别。这有助于理解不同任务之间的区别和联系，以及它们如何在广义OOD检测框架中得到统一处理。