一、引言

二、机器学习经典算法

1.KNN：K最近邻居（K-Nearest Neighbors，简称KNN）

监督学习算法，用于分类和回归问题。

基本思想：通过测量不同数据点之间的距离来进行预测

步骤：1.距离度量： KNN使用距离度量（通常是欧氏距离）来衡量数据点之间的相似性。 2.确定邻居数量K 3.投票机制

2.决策树

三种算法（ID3,C4.5,cart）

简单示例

决策树不擅长处理未见过的特征

3.朴素贝叶斯（执果索因）

三、深度学习

设计一个很深的网络架构让机器自己学（深度学习相当于函数f）

神经网络的输入形式：

(1).向量  eg：（身高，体重，财富）T

(2).矩阵/张量  eg：图片的RGB三通道矩阵

(3).序列：“你今天吃什么”，视频（一帧帧图片构成的序列），一行行代码，chatgpt

输出：

(1).回归任务：填空题，如预测明天的温度

(2).分类任务：选择题：如预测这图片是狼是狗，预测一句话积极还是消极

(3).生成任务（结构化输出）：简答题：chatgpt

分类和回归是结构化的基础。分类时， 是用数字来表示类别。有的时候需要多个模态的数据， 比如 图片， 文字， 声音。

步骤：

(1).定义函数 （模型）

        模型：ŷ = w x + b   （weight权重，bias偏置，此为Linear model（线性模型））

(2).定义合适的损失函数loss

        L(w, b) = |ŷ - y| = | w x+b- y|

        L=1/N∑l

        作用：判断我们选择的这组参数怎么样

(3).根据损失， 对模型进行优化（Optimization）

使L最小时w与b是多少