带你从入门到精通——机器学习（一. 机器学习概述）

1950-1970年，符号主义流派，该流派主要关注于使用符号表示和规则驱动来模拟人类智能，即通过符号表示知识并使用预定义的规则来使机器模拟人类的智能行为，符号可以是语言、数学符号或逻辑表达式，其中专家系统占主导地位。1962年IBM公司开发的Arthur Samuel（阿瑟·塞缪尔）程序在跳棋领域战胜人类高手，掀起了人工智能的第一次浪潮。

1980-2000年，统计主义流派，也就是传统机器学习时代，统计主义流派的核心是利用统计模型和数据驱动来模拟人类的智能行为，即通过统计模型从数据中学习模式和规律进而解决问题，而不是依赖人工定义的规则。1997年IBM公司开发的深蓝程序在国际象棋领域战胜卡斯帕罗夫，掀起了人工智能的第二次浪潮。

2010-2017年，连接主义流派，即神经网络、深度学习流派，该流派强调通过大量简单的计算单元（即神经元）相互连接来模拟人类的智能行为，该流派认为智能的出现是神经网络整体的涌现特性。2012年的AlexNet是深度学习的开山之作，而2016年Google公司开发AlphaGO在围棋领域战胜李世石，掀起了人工智能的第三次浪潮。

2017年-至今，连接主义流派进入大规模预训练模型阶段。2017年，Transformer框架出现；2018年，Bert模型和GPT模型出现；2022年，chatGPT的出现标志着人工智能进入到大模型AIGC（AI-Generated Content，人工智能生成内容）发展的新阶段；2023年至今，全球人工智能领域进入“百模大战”时代，大模型也随着进入快速发展阶段。

1.3.2 AI发展的三要素

数据、算法、算力三要素相互作用，是AI发展的基石，具体图示如下：

目前主要的算力资源简介如下：

CPU：负责调度任务、计算任务等；主要适合I\O密集型的任务。

GPU：G表示Graphics图形、图样，更加适合矩阵运算；主要适合计算密集型任务。

TPU：T表示Tensor张量，专门针对神经网络训练设计一款处理器。

1.4 机器学习常见术语

样本（sample）：一行数据就是一个样本；多个样本组成数据集；有时一条样本也被称成一条记录。

特征（feature）：一列数据通常表示一个特征，有时也被称为属性。

标签/目标（label/target）：模型需要预测的那一列数据。

训练集（training set）：数据集可划分两部分训练集和测试集，用来训练模型（model）的数据集即为训练集。

测试集（testing set）：用来测试模型的数据集，训练集和测试集的比例通常为8 : 2或者7 : 3。

1.5 机器学习算法的分类

1.5.1 有监督学习

有监督学习是指输入数据由输入特征值和目标值所组成即输入的训练数据是有标签的机器学习算法，标签通常是通过对数据集进行人工标注而来。

常见的有监督学习有：分类算法，该算法的目标值（标签值）是不连续的，有二分类以及多分类任务；回归算法，该算法的目标值（标签值）是连续的。

1.5.2 无监督学习

无监督学习是指输入数据没有被标记，即样本数据类别未知的机器学习算法，这种算法会在未标记的数据中发现事物隐藏的结构、模式或规律（比如根据样本间的相似性对数据集进行聚类，此外还有降维、异常检测等场景)，使用这种算法不需要我们对数据集进行标注。

1.5.3 半监督学习

半监督学习结合了有监督学习和无监督学习的特点，具体来说，半监督学习使用少量已标注数据和大量未标注数据来进行训练，其工作原理如下：

1. 让专家标注少量数据，利用已经标记的数据训练出一个模型。

2. 利用该模型去套用未标记的数据，例如为未标记的数据打上伪标签。

3. 通过询问领域专家分类结果与模型分类结果做对比，从而对模型做进一步改善和提高。

使用半监督学习的方式可以大幅降低标记成本。

1.5.4 强化学习

强化学习（Reinforcement Learning，RL）是机器学习的一个子领域，在RL中，智能体不断与环境进行交互，通过不断试错的方式来获得最佳策略，主要包含四个元素：智能体（Agent），环境（Environment），动作（Action），奖励（Reward），最终目的是最大化累计奖励（即每一个时间步所获得的奖励总和），具体图示如下：

四种机器学习算法的总结如下：

1.6 机器学习的建模流程

机器学习的建模流程主要分为以下五步：

获取数据：搜集整理与机器学习任务相关的各种数据集。

数据预处理：对数据中异常值、缺失值的处理等。

特征工程：对数据特征进行处理，最终转成为特征向量，让模型达到最好的预测效果。

机器学习（模型训练）：选择合适的算法对模型进行训练，需要根据不同的任务来选取不同的算法。

模型评估：评估模型的最终预测效果，如果评估效果好则上线服务，评估效果不好则重复上述步骤。

1.7 特征工程

利用专业背景知识和技巧处理数据，让机器学习算法效果最好，这个过程就是特征工程，特征工程通常是困难的、耗时的，是机器学习开发中的主要工作。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

特征工程主要分为以下五步：

特征提取：原始数据中提取与任务相关的特征，构成特征向量。

特征预处理：对特征进行归一化、标准化等处理，保证各特征对模型影响相同。

特征降维：将原始数据的维度降低，叫做特征降维，特征降维会原始数据产生影响，往往会丢失部分信息，但是会保留最主要的信息。

特征选择：从特征中根据一些指标选择出一些重要特征就是特征选择，特征选择不会改变原始数据。

特征组合：特征组合是指把多个的特征合并成一个特征，可以通过加法、乘法等方法将特征值合并。

1.8 模型的拟合

在机器学习领域，拟合（fitting）通常用来表示模型对样本点的接近情况。

如果模型在训练集上表现很差，同时在测试集表现也很差，这种情况被称为欠拟合（under-fitting），主要原因是模型过于简单。具体表现为模型学习到的特征过少，导致模型无法准确的预测未知样本，可以通过增加特征的方式，来增加模型的复杂度，进而解决欠拟合。

如果模型在训练集上表现很好，但是在测试集表现很差，这种情况被称为过拟合（over-fitting），主要原因是模型太过于复杂、数据不纯、训练数据太少等等。具体表现为模型学习到的特征过多，导致模型只能在训练样本上得到较好的预测结果，而在未知样本上的效果不好，可以通过正则化、异常值检测、特征降维等方法来解决过拟合问题。

出现过拟合的模型，往往泛化能力较差，泛化能力是指模型在新数据集（非训练数据）上上表现良好的能力。