知识来源：https://space.bilibili.com/484313941/?spm_id_from=333.788.upinfo.detail.click

                                  每一个新概念都依赖上一个概念的局限性而提出

机器学习

（一）传统机器学习

1、监督学习（有答案反训练模型）

自己找规律，会举一反三了，总结特征后识别

多种因素汇编成公式

得出预测

2、无监督学习（没有答案）

包括分类、降维、无规则识别

如聚类分析，商家根据消费习惯的不同，非法给不同用户不一样的优惠劵，实现盈利。

3、机器学习的局限性

机器学习只能处理结构化的数据，即能放在excel表里那种

不能处理图像，音视频，文本

怎么办？

神经网络诞生

（二）神经网络

如下，最开始的神经网络只能解决线性可分的问题，不能解决异或问题（一条直线难以区分）

但是，把他们拉开，就可以一条线分开了，这时候需要多层感知机，加一个隐藏层就是拉点的活

比如x、y换成x+y、x-y,换到新的坐标系下

那么权重如何定？

神人提出了反向传播，也就是BP算法，BP神经网络，找权重的导航

第一步：随机设一个权重，做正向计算，得出误差

第二步：反向传播，找出产生误差的权重

第三步：调节权重，直到误差小，则训练模型结束

梯度：调节权重的方向和幅度

局限性：隐藏层不能太多，会导致梯度消失（梯度变为0，权重也变为0了），梯度爆炸（模型不稳定）

那么如何解决这局限性呢？

神人提出了深度信念网络，即

（三）深度学习（深度信念网络）

1、图像识别

    深度学习在做图像领域的应用十分广泛，在图像识别，Alex Net（一种深度卷积神经网络CNN）架构很厉害。深度学习解决了非结构化数据的特征提取问题。

通过预训练＋微调，解决了BP神经网络局限性的问题

第一步：先给神经网络做一个逐存运训练（把每一层架构搭稳）

第二步：把深度网络拆成一个个小模块，比如十层网络，先练输入层和第一层隐藏层（用无监督学习，让这两层学会抓数据基础特征，比如认猫的图像，先去学它的边缘线条）

第三步：第一层练熟，当作新的输入，再和第二模块进行训练，避免了全部一起训练。

第四步：用BP算法（BP神经网络）进行微调

实现精准调参，梯度稳定

实现了隐藏层不管多深都可以训练成，即深度学习。

实现了：人脸识别，语音识别，智能客服

CNN

卷积神经网络：从对像素矩阵的识别到会抓取特征（猫耳朵...)，利用卷积核抓取特征，有的探测器（卷积核）专门找眼睛、有的找边缘，匹配的过程叫卷积。

局限性：不能识别文字（序列），只能局部特征。

2、文本识别

（1）RNN

    一个字一个字来，主谓宾

    从看图到说话

局限性：太慢了，无法并行，记忆差，处理不了长句子

（2）Transformer

当前主流大模型的基础架构

注意力机制的加成，可以并行计算

那么，并行计算如何解决顺序问题：位置编码

左如Bert,右如GPT（衍生了deep seek）

个人学习，仅供参考