python，大数据，机器学习，深度学习，计算机视觉

四、数学篇

前言

数学在机器学习有什么用？
应用：比如导数，在求损失函数，用梯度下降算法，求损失最小值那点。

数学这部分还得靠大学打的底子，因本博主有考研经历，觉得数学这部分要提高最好看考研课，给小白推荐下精品课，少走弯路。
推荐：
高数：考研张宇高数18讲
线代：李永乐考研线性代数辅导讲义
概率：考研张宇概率
参考：3blue1brown的公开课 https://space.bilibili.com/88461692/channel/index

（一）、高数 – 机器学习与数学分析

案例（python）

例1.
例2.

高数知识

1.导数

2.导数应用


3. 泰勒-麦克劳林展开式。

sinx泰勒展开式的证明见高数课本吧。
而 e^x的泰勒展开式，将其代入通式中可显然得到。
实际上，计算机在计算sin函数的运算时，就是用的泰勒展开式进行的近似运算。

4.方向导数 和 梯度
l方向的方向导数：沿着l方向下降的速度，故可以转化为沿x，y方向共同作用的导数。
5.重要函数 和 回归
如图红线圈，做软性的近似，称为 软性的回归，即soft-回归。
类似的还有Logistic回归，后面讲。

（二）概率 – 数理统计

例

给定某正整数N，统计从1到N!的所有数中，首位数字出现1的概率。
可以看出，首位数字出现1的概率是最高的。
#### 阿里面试题
答案：

重点：

（二）线代

前言（线代是有用的）

重要知识点

矩阵乘法：实现向量的旋转，平移，切割，或改变空间维度，参考：
如y_m= A_m*n * x_n意思是：用A_m*n算子/模型对n维矩阵x_n搞事情，使之从n维变成了m维，其状态变成了m维空间的y_m了。
由公式可看出，正交变换只改变向量的维度，不改变向量的长度。
结论：给定任意m*n的矩阵A，则A^TA一定是半正定方阵。
此结论在线性回归中会用到。

总结：

线性代数是普适的数学工具，是进一步学习其他内容的基础。

• 有些机器学习的推导过程使用该工具表述清晰，易于推广，如线性回归。
• 重点思考特征值、特征向量和矩阵的关系。