1. 基本术语

机器学习：是基于数据建立模型并运用模型对数据进行预测和分析的一门学科。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析和预测中。

特征/属性：反映事件或对象在某方面的表现或性质的事项。

样本：关于一个事件或对象的描述。

数据集：多条样本记录的集合。

输入空间/输出空间：输入和输出所有可能取值的集合。

学习/训练：从数据中学得模型的过程。

训练集/测试集：训练样本/测试样本组成的集合。

分类问题：输出变量为有限个离散变量的预测问题。

回归问题：输入变量和输出变量均为连续变量的预测问题。

标注问题：输入变量与输出变量均为变量序列的预测问题（常用在自然语言处理中）。

预测任务希望通过对训练集进行学习，建立一个从输入空间到输出空间的映射.

假设：学得模型对应了关于数据的某种潜在规律，也称为“假设”。

版本空间：可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称为“版本空间”。

2. 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，或简称为“偏好”。“奥卡姆剃刀”（Occam's razor）是一种常用的、自然科学研究中最基本的原则来引导算法建立正确的偏好。即“若有多个假设与观察一致，则选最简单的那个”。然而奥卡姆剃刀并非唯一可行的原则，有些问题还是要借助其他机制才能解决。算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

3. 生成模型与判别模型

监督学习的任务就是学习一个模型，这个模型的一般形式为决策函数：

                                                                （1）

或者条件概率分布：

                                                                （2）

监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别为生成模型（generative model）和判别模型（discriminative model）。

（1）生成方法

由数据学习得到联合概率分布，然后再求出条件概率分布作为预测模型，即生成模型：

                                                                （3）

生成模型表示了给定输入产生输出的生成关系，因此这样的方法称为生成方法。典型的生成模型有朴素贝叶斯法和隐马尔可夫模型。

（2）判别方法

由数据直接学习决策函数或者条件概率分布作为预测模型，即判别模型。典型的判别模型包括：k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机等。

参考文献：

1. 《机器学习》第一章绪论——周志华

2. 《统计学习方法》第一章统计学习方法概论——李航